kscz0000 AI Engineering Toolkit
概述
一套包含6个结构化、专家级工作流的工具集，将你的AI编程助手转变为资深AI工程伙伴。每个技能都封装了可复用的方法论——不仅仅是"让AI帮忙"，而是一个带有量化评分、检查清单和决策树的分步决策框架。
与临时AI辅助的关键区别：每个工作流都能产生一致、可复现的结果，无论谁执行或何时执行。你可以将评分系统作为团队基线，并将其写入CI/CD流水线。
何时使用此技能
- 在生产部署前评估或优化LLM系统提示词时使用
- 设计RAG管道并需要结构化架构决策（而非模板代码）时使用
- 规划上下文窗口各区域的token预算分配时使用
- 对AI智能体进行上线前安全审计时使用
- 为LLM应用构建评估框架时使用
- 在编写代码前思考产品策略时使用
工作原理
技能1：提示词评估器
在8个维度（清晰度、具体性、完整性、简洁性、结构化、依据性、安全性、鲁棒性）上以1-10分评分，加权汇总为0-100分。识别最弱的3个维度，生成针对性重写，并重新评估。支持单提示词、A/B对比和批量评估三种模式。
技能2：上下文预算规划器
分析5个上下文区域（系统区、Few-shot示例、用户输入、检索内容、输出区）的token分布，生成优化分配方案。包含每个区域的压缩策略决策树。常见发现：输出区被压缩到6%以下——此技能可在截断发生前捕获此问题。
技能3：RAG管道架构师
遍历完整的架构决策树：文档格式 → 解析策略 → 分块方法（固定/语义/递归）→ 嵌入模型选择 → 检索方法（向量/关键词/混合）→ 评估指标（Faithfulness、Relevancy、Context Precision）。覆盖Naive RAG、Advanced RAG和Modular RAG模式。
技能4：智能体安全卫士
⚠️ 仅限授权使用 此技能仅供教育目的或授权安全评估使用。 使用此工具前必须获得系统所有者的明确书面许可。 滥用此工具是违法的，严禁使用。
执行跨5个攻击类别的65项红队审计：直接提示注入、间接提示注入（通过RAG文档）、信息提取（系统提示词/API密钥泄露）、工具滥用（SQL注入、路径遍历、命令注入）、目标劫持。AI构建对抗性测试提示词用于评估目的，在每个测试阶段前请求用户确认，判定通过/失败，并生成修复建议。所有测试都在评估上下文内进行，不与外部系统交互。建议在沙盒环境（Docker/VM）中运行审计。
技能5：评估框架构建器
为LLM应用设计评估指标系统。包含LLM-as-Judge评分框架及偏见缓解策略（位置偏见、冗长偏见、自我增强偏见）。输出CI/CD就绪的评估流水线模板。
技能6：产品思维教练
一个5阶段引导式对话框架：深挖动机 → 评估市场机会 → 寻找路径 → 设计场景 → 分析竞争。适用于在编写任何代码前思考"我们是否应该构建这个？"
示例
示例1：提示词评估
请求："评估这个系统提示词"
You are a customer support agent. Help users with their questions. Be nice and helpful.
结果：总分 28/100。最弱维度：安全性（1/10，零注入防护）、具体性（2/10，无输出格式）、结构化（2/10，无分段）。自动重写得分 82/100，增加了范围边界、响应格式、升级规则和安全护栏。
示例2：安全审计
请求："对我的客服智能体运行安全审计"
结果：执行65项测试。发现3个严重失败：Base64编码指令绕过、通过工具调用的路径遍历、通过角色扮演提取系统提示词。为每项提供修复建议。
最佳实践
- ✅ 在任何生产部署前运行提示词评估器——设定团队基线（如≥70/100）
- ✅ 在开发早期使用上下文预算规划器，而非在遇到截断问题后
- ✅ 将智能体安全卫士作为上线前关卡，而非事后补救
- ✅ 按顺序组合技能：RAG设计 → 上下文优化 → 提示词打磨 → 安全审计 → 评估设置
- ❌ 不要仅依赖单一维度分数——查看完整画像
- ❌ 不要因为"只是内部工具"就跳过安全审计
安全与风险说明
- 所有技能都是只读分析和咨询工作流。没有任何技能修改文件或发起网络请求。
- 智能体安全卫士技能仅用于评估目的构建对抗性测试提示词——这些都在评估上下文内进行，不与外部系统交互。
- 智能体安全卫士被归类为攻击性技能：它生成攻击载荷（提示注入、SQL注入、命令注入）用于授权安全测试。该技能在执行每个测试阶段前需要用户明确确认。尽可能在沙盒环境中运行。
- 不包含武器化载荷。所有对抗性提示词均具有教育性质。
安装
# 通过 skill install 命令（Claude Code / WorkBuddy / Cursor）
/skill install -g viliawang-pm/ai-engineering-toolkit
# 手动安装
git clone https://github.com/viliawang-pm/ai-engineering-toolkit.git
cp -r ai-engineering-toolkit/skills/* ~/.claude/skills/
仓库地址: github.com/viliawang-pm/ai-engineering-toolkit 许可证: MIT
局限性
- 仅当任务明确匹配上述范围时使用此技能。
- 不要将输出作为环境特定验证、测试或专家审查的替代品。
- 如果缺少所需输入、权限、安全边界或成功标准，请停止并请求澄清。