ahang1598 数据分析引擎（Data Analysis Engine）
功能说明
数据分析引擎是智数分析专家团的共享核心技能，为团队所有成员提供统一的数据处理基础能力。该引擎实现了从数据接入、查询执行、计算分析到结果输出的完整流水线。
核心架构
分层设计
┌─────────────────────────────────────────────┐
│ 应用层（Application Layer） │
│ 任务规划 · 场景调度 · 结果编排 │
├─────────────────────────────────────────────┤
│ 服务层（Service Layer） │
│ Agent管理 · 对话管理 · 工作流服务 │
├─────────────────────────────────────────────┤
│ 核心层（Core Layer） │
│ AWEL引擎 · LLM接口 · 存储抽象 · 消息协议 │
├─────────────────────────────────────────────┤
│ 扩展层（Extension Layer） │
│ 数据源连接器 · 向量存储 · 模型适配器 │
├─────────────────────────────────────────────┤
│ 沙盒层（Sandbox Layer） │
│ 代码隔离执行 · 资源限制 · 安全审计 │
└─────────────────────────────────────────────┘
组件系统
引擎采用组件化设计，支持：
- 依赖注入：集中式服务发现和管理
- 生命周期管理：标准化的初始化、启动和关闭流程
- 松耦合：组件间通过接口通信，消除循环依赖
- 可扩展：新功能通过插件方式添加
工作流引擎（AWEL）
概述
工作流引擎提供声明式的分析流程编排能力，将复杂的数据分析任务分解为可组合的操作单元。
核心概念
| 概念 | 说明 |
|---|---|
| DAG | 有向无环图，管理任务依赖关系 |
| Operator | 工作流操作算子，执行具体的数据处理逻辑 |
| Trigger | 事件触发器，启动工作流执行 |
| Flow | 流程实例，代表一次具体的执行过程 |
标准工作流模式
模式1：自然语言查询 → SQL执行
UserInput → NLU解析 → Schema匹配 → SQL生成 → 安全检查 → 执行 → 结果格式化 → 输出
模式2：文件分析 → 数据画像
FileUpload → 格式检测 → 数据加载 → Schema探索 → 统计计算 → 可视化生成 → 报告组装
模式3：知识检索 → 增强问答
UserQuery → 查询改写 → 向量检索 → 上下文组装 → LLM生成 → 来源标注 → 输出
模式4：多源混合分析
多数据源 → 并行查询 → 结果合并 → 交叉分析 → 洞察提取 → 可视化 → 报告
数据源连接
支持的数据源
参考 @references/datasource-connectors.md 了解所有支持的数据源类型和连接配置。
连接管理
# 连接生命周期
创建连接 → 验证凭证 → 建立会话 → 执行操作 → 释放连接
# 连接池配置
max_connections: 10 # 最大连接数
connection_timeout: 30 # 连接超时（秒）
idle_timeout: 300 # 空闲超时（秒）
retry_count: 3 # 重试次数
沙盒执行环境
安全隔离
所有代码执行在安全沙盒中进行：
| 安全机制 | 说明 |
|---|---|
| 进程隔离 | 每次执行在独立进程中运行 |
| 资源限制 | CPU/内存/磁盘/网络访问限制 |
| 超时控制 | 执行时间上限，防止无限循环 |
| 只读约束 | 数据库连接默认只读模式 |
| 审计日志 | 记录所有执行操作供审计 |
资源配额
sandbox:
max_cpu_time: 60s # 最大CPU时间
max_memory: 512MB # 最大内存
max_disk_write: 100MB # 最大磁盘写入
network_access: false # 禁止网络访问
max_output_size: 10MB # 最大输出大小
模型管理
LLM适配层
引擎通过统一接口支持多种大语言模型：
# 统一调用接口
response = await llm.generate(
prompt=formatted_prompt,
model=selected_model,
temperature=0.1, # 数据分析场景使用低温度
max_tokens=4096,
stream=True
)
支持的模型类型
| 模型类别 | 用途 |
|---|---|
| 通用对话模型 | 任务理解、报告撰写 |
| 代码生成模型 | SQL生成、Python代码 |
| 嵌入模型 | 文档向量化、语义检索 |
| 指令微调模型 | Text2SQL专项优化 |
调用方式
作为技能加载
当Agent启动时，此技能自动加载，提供以下能力：
- 数据源连接与管理
- SQL生成与执行
- Python代码沙盒执行
- 知识库检索
- 工作流编排
在Agent MD中声明
skills: [data-analysis-engine]
参考资料
- 参考 @references/datasource-connectors.md 了解数据源连接配置
- 参考 @references/analysis-patterns.md 了解分析模式和最佳实践
- 参考 @references/security-guidelines.md 了解安全规范
输出格式
引擎支持多种输出格式：
| 格式 | 适用场景 |
|---|---|
| JSON | 结构化数据传递 |
| DataFrame | Python分析中间结果 |
| Markdown | 文本报告和文档 |
| HTML | 可视化和交互式报告 |
| CSV/Excel | 数据导出和共享 |
| 图表对象 | 可视化渲染 |
注意事项
- 所有数据操作遵循最小权限原则
- 大数据集操作自动启用分页和流式处理
- 连接敏感信息（密码、密钥）不会出现在日志或输出中
- 执行失败时提供清晰的错误信息和修复建议
- 支持断点续传和任务恢复