aifinlab 实体主数据对齐 Skill
数据来源
本 Skill 支持多种实体主数据输入格式，核心数据来源包括：
1. 数据源类型
- 数据库：多个不同结构的数据库
- API接口：多个不同格式的API接口
- 文件数据：多个不同格式的文件
- 系统数据：多个不同系统的数据
2. 实体类型
- 公司实体：公司名称、公司代码、统一社会信用代码
- 产品实体：产品名称、产品代码、产品ID
- 客户实体：客户名称、客户代码、客户ID
- 账户实体：账户名称、账户代码、账户ID
3. 数据格式要求
- 源数据：需要对齐的源数据
- 主数据标准：主数据标准定义和规范
- 对齐规则：实体对齐规则和匹配规则
- 主键映射：主键映射关系
4. 对齐特征
- 对齐类型：精确匹配、模糊匹配、规则匹配
- 对齐复杂度：简单对齐、复杂对齐
- 对齐范围：部分实体对齐、全实体对齐
- 对齐准确性：高准确率对齐、低准确率对齐
说明：本 Skill 不包含数据采集功能，需要用户提供源数据和主数据标准。建议主数据标准清晰明确，以便进行准确的实体对齐。
功能
本 Skill 提供全面的实体主数据对齐能力，涵盖多种对齐功能：
1. 实体识别
- 实体提取：从数据源中提取实体信息
- 实体分类：对实体进行分类和标签化
- 实体去重：识别和去除重复实体
- 实体标准化：标准化实体名称和格式
2. 主键统一
- 主键识别：识别实体的主键字段
- 主键映射：映射不同数据源的主键
- 主键生成：为实体生成统一主键
- 主键验证：验证主键的唯一性和有效性
3. 实体对齐
- 精确匹配：精确匹配相同实体
- 模糊匹配：模糊匹配相似实体
- 规则匹配：基于规则匹配实体
- 关联匹配：基于关联关系匹配实体
4. 主数据管理
- 主数据创建：创建主数据记录
- 主数据更新：更新主数据记录
- 主数据合并：合并重复主数据
- 主数据删除：删除无效主数据
5. 数据验证
- 对齐完整性验证：验证对齐的完整性
- 对齐准确性验证：验证对齐的准确性
- 主键唯一性验证：验证主键的唯一性
- 数据一致性验证：验证数据的一致性
6. 高级处理功能
- 批量对齐：批量处理多个实体对齐
- 增量对齐：增量更新实体对齐
- 对齐报告：生成实体对齐报告
- 对齐监控：监控对齐过程和结果
使用示例
输出示例
{
"source_info": {
"source_data": "company_data.csv",
"source_format": "csv",
"entity_count": 1000
},
"master_data_standard": {
"standard_name": "company_master_data",
"primary_key": "company_code",
"key_fields": ["company_name", "unified_social_credit_code"]
},
"alignment_rules": [
{
"rule_id": "RULE001",
"rule_type": "exact_match",
"match_fields": ["company_name"],
"confidence_threshold": 1.0
},
{
"rule_id": "RULE002",
"rule_type": "fuzzy_match",
"match_fields": ["company_name"],
"confidence_threshold": 0.9
}
],
"alignment_results": {
"total_entities": 1000,
"aligned_entities": 950,
"unmatched_entities": 50,
"alignment_time": "2024-03-15T10:00:00",
"duration": "30s"
},
"aligned_entities": [
{
"source_entity": {
"source_id": "SRC001",
"company_name": "示例股份有限公司",
"source_key": "COMP001"
},
"master_entity": {
"master_id": "MAST001",
"company_code": "COMP001",
"company_name": "示例股份有限公司",
"unified_social_credit_code": "91110000123456789X"
},
"alignment_type": "exact_match",
"confidence": 1.0,
"match_fields": ["company_name"]
}
],
"statistics": {
"entities_aligned": 950,
"entities_unmatched": 50,
"exact_matches": 800,
"fuzzy_matches": 150,
"alignment_accuracy": 0.95
}
}
注意事项与限制
1. 主数据标准要求
- 主数据标准需要清晰明确
- 主键定义需要唯一且稳定
- 标准字段需要完整
2. 对齐准确性
- 精确匹配准确率较高
- 模糊匹配可能需要人工复核
- 复杂实体可能需要特殊处理
3. 主键统一
- 主键需要保证唯一性
- 主键映射需要准确
- 主键生成需要遵循规则
4. 数据一致性
- 需要保证对齐后数据一致性
- 需要验证对齐结果
- 异常数据需要处理
5. 使用限制
- 本 Skill 不包含数据采集功能
- 对齐结果需要人工复核
- 复杂实体可能需要特殊处理
参考资料
- 见 references/ 目录中的相关文档，包括：
- 实体主数据对齐方法手册
- 主数据标准规范定义
- 对齐规则配置指南
- 性能优化指南