aifinlab 实体识别 Skill
数据来源
本 Skill 支持多种金融文本数据输入，核心数据来源包括：
1. 金融文档类型
- 上市公司公告：年报、季报、重大事项公告、权益变动报告
- 研究报告：券商研报、行业分析报告、投资价值分析报告
- 监管文件：证监会公告、交易所通知、行政处罚决定书
- 新闻资讯：财经新闻、行业动态、公司新闻
- 合同协议：贷款合同、担保合同、投资协议、并购协议
2. 文本格式支持
- 纯文本格式：.txt 文件，UTF-8编码
- 结构化文档：PDF、Word、Excel文档（需预处理为文本）
- HTML网页：财经网站页面内容
- 数据库文本字段：从数据库直接读取的文本内容
3. 实体字典与规则库
- 标准实体字典：包含上市公司列表、金融机构名录、金融产品分类
- 自定义实体字典：用户可导入特定领域的实体名称列表
- 正则规则库：用于识别特定格式的实体（如股票代码、证件号码）
- 行业术语库：金融行业专业术语和缩写
说明：本 Skill 主要基于规则和字典匹配进行实体识别，对于复杂语境下的实体消歧和关系抽取能力有限。建议结合上下文分析和人工复核使用。
功能
本 Skill 提供全面的金融实体识别能力，涵盖四大类实体类型：
1. 主体实体识别
- 公司主体：上市公司、非上市公司、集团公司、子公司
- 金融机构：银行、证券公司、保险公司、基金公司、信托公司
- 监管机构：证监会、银保监会、人民银行、交易所、行业协会
- 关键人物：法定代表人、董事、监事、高级管理人员、实际控制人
2. 产品实体识别
- 金融产品：股票、债券、基金、理财产品、衍生品
- 信贷产品：贷款、信用证、保函、承兑汇票
- 保险产品：财产保险、人寿保险、健康保险、责任保险
- 资管产品：信托计划、资管计划、私募基金
3. 数值实体识别
- 金额实体：人民币金额、外币金额、大写金额
- 比例实体：百分比、千分比、增长率、占比
- 日期实体：公告日期、生效日期、到期日期、报告期间
- 数量实体：股份数量、交易数量、持仓数量
4. 事件实体识别
- 公司事件：并购重组、股权变更、重大投资、诉讼仲裁
- 市场事件：股价异常波动、停复牌、退市风险警示
- 监管事件：行政处罚、监管措施、问询函、关注函
- 风险事件：违约事件、担保代偿、资产查封、破产重整
5. 高级处理功能
- 实体归一化：将不同表述的同一实体统一为标准名称
- 实体消歧：根据上下文区分同名实体的不同指代
- 关系抽取：识别实体之间的关联关系（持股、担保、交易等）
- 属性抽取：提取实体的关键属性（注册资本、成立日期、注册地址等）
- 置信度评分：为每个识别结果提供置信度评分
使用示例
1. 安装依赖
pip install -r requirements.txt
2. 基础使用
# 识别文本中的实体
python scripts/recognize_entities.py --input announcement.txt --output entities.json
# 指定识别的实体类型
python scripts/recognize_entities.py --input report.txt --output companies.json --entity-type company
# 使用自定义实体字典
python scripts/recognize_entities.py --input text.txt --output results.json --dictionary custom_dict.csv
3. 批量处理
# 批量处理多个文件
python scripts/batch_recognize.py --input-dir ./documents --output-dir ./results --format json
# 处理PDF文档（需先转换为文本）
python scripts/process_pdf.py --input document.pdf --output text.txt
python scripts/recognize_entities.py --input text.txt --output entities.json
4. 高级配置
# 设置置信度阈值
python scripts/recognize_entities.py --input text.txt --output results.json --confidence-threshold 0.8
# 启用实体消歧
python scripts/recognize_entities.py --input text.txt --output results.json --disambiguation true
# 导出可视化结果
python scripts/recognize_entities.py --input text.txt --output visualization.html --format html
5. 输出示例
{
"document_id": "announcement_20250315_001",
"source_file": "announcement.txt",
"processing_time": "2025-03-15T17:50:00",
"entities": [
{
"text": "贵州茅台酒股份有限公司",
"type": "company",
"subtype": "listed_company",
"normalized_name": "贵州茅台",
"stock_code": "600519",
"confidence": 0.95,
"position": {
"start": 120,
"end": 130,
"sentence": "贵州茅台酒股份有限公司发布2024年度报告"
},
"attributes": {
"industry": "白酒制造",
"exchange": "上海证券交易所"
}
},
{
"text": "人民币100亿元",
"type": "amount",
"subtype": "rmb_amount",
"normalized_value": 10000000000,
"currency": "CNY",
"confidence": 0.98,
"position": {
"start": 250,
"end": 260,
"sentence": "公司拟向全体股东每10股派发现金红利人民币100亿元"
}
},
{
"text": "中国证券监督管理委员会",
"type": "regulatory_body",
"subtype": "securities_regulator",
"normalized_name": "证监会",
"abbreviation": "CSRC",
"confidence": 0.99,
"position": {
"start": 350,
"end": 365,
"sentence": "根据中国证券监督管理委员会的相关规定"
}
}
],
"statistics": {
"total_entities": 45,
"by_type": {
"company": 12,
"amount": 8,
"date": 10,
"regulatory_body": 3,
"person": 7,
"product": 5
},
"average_confidence": 0.92
},
"relationships": [
{
"source": "贵州茅台",
"target": "丁雄军",
"relation": "chairman_of",
"confidence": 0.88,
"evidence": "丁雄军先生担任贵州茅台酒股份有限公司董事长"
}
]
}
注意事项与限制
1. 识别准确性
- 规则匹配方法对规范文本识别准确率较高
- 对于口语化、缩写、错别字的识别能力有限
- 建议对关键实体进行人工复核
2. 上下文依赖
- 实体识别结果受上下文影响较大
- 同一实体在不同语境下可能有不同含义
- 建议结合篇章级分析提高准确性
3. 领域适应性
- 本 Skill 主要针对金融领域优化
- 对于其他专业领域（医疗、法律等）识别效果可能下降
- 可通过自定义字典提升特定领域识别能力
4. 性能考虑
- 大文档处理可能需要较长时间
- 内存占用与文档大小成正比
- 建议对超大文档进行分块处理
5. 使用限制
- 本 Skill 不包含深度学习模型，主要基于规则和字典
- 对于新兴实体和网络用语识别能力有限
- 实体关系抽取为初步结果，需进一步验证
6. 合规要求
- 处理敏感信息时需遵守数据保护法规
- 涉及个人信息的实体识别需获得授权
- 输出结果的使用应符合相关法律法规
参考资料
- 见 references/ 目录中的相关文档，包括：
- 金融实体分类体系
- 实体识别规则手册
- 金融术语词典
- 性能优化指南
- 合规使用说明
License
- 本 skill 代码部分采用 MIT License，详见
LICENSE文件 - 依赖与运行环境以
requirements.txt为准 - 文档内容采用 CC BY 4.0 许可