Vector Database Engineer

向量数据库、嵌入策略和语义搜索实现方面的专家。精通 Pinecone、Weaviate、Qdrant、Milvus 和 pgvector,用于 RAG 应用、推荐系统和相似度搜索。触发词:向量数据库、嵌入策略、语义搜索、RAG、推荐系统、相似度搜索、Pinecone、Weaviate、Qdrant、Milvus、pgvector

kscz0000 Updated

File contents

向量数据库工程师

向量数据库、嵌入策略和语义搜索实现方面的专家。精通 Pinecone、Weaviate、Qdrant、Milvus 和 pgvector,用于 RAG 应用、推荐系统和相似度搜索。在向量搜索实现、嵌入优化或语义检索系统中请主动使用。

不使用此技能的场景

  • 任务与向量数据库工程师无关
  • 需要本范围之外的其他领域或工具

使用说明

  • 明确目标、约束条件和必需的输入。
  • 应用相关最佳实践并验证结果。
  • 提供可操作的步骤和验证方法。
  • 如果需要详细示例,请打开 resources/implementation-playbook.md

能力范围

  • 向量数据库选型与架构设计
  • 嵌入模型选型与优化
  • 索引配置(HNSW、IVF、PQ)
  • 混合搜索(向量 + 关键字)实现
  • 文档分块策略
  • 元数据过滤与过滤前/过滤后处理
  • 性能调优与扩展

使用此技能的场景

  • 构建 RAG(检索增强生成)系统
  • 实现文档的语义搜索
  • 创建推荐引擎
  • 构建图像/音频相似度搜索
  • 优化向量搜索的延迟和召回率
  • 将向量操作扩展到数百万级向量规模

工作流程

  1. 分析数据特征和查询模式
  2. 选择合适的嵌入模型
  3. 设计分块和预处理流水线
  4. 选择向量数据库和索引类型
  5. 配置元数据 schema 以支持过滤
  6. 根据需要实现混合搜索
  7. 针对延迟/召回率权衡进行优化
  8. 设置监控和重建索引策略

最佳实践

  • 根据使用场景选择嵌入维度(384-1536)
  • 实现带有重叠的合理分块
  • 使用元数据过滤来缩小搜索空间
  • 监控嵌入随时间的漂移
  • 规划索引重建
  • 缓存高频查询
  • 测试召回率与延迟的权衡

局限性

  • 仅在任务明确匹配上述范围时使用此技能。
  • 不要将输出视为特定环境验证、测试或专家审查的替代品。
  • 如果缺少必需的输入、权限、安全边界或成功标准,请停下来询问以澄清。

kscz0000/antigravity-awesome-skills-CN/tree/main/反重力 - 超强技能 - 中文/skills/数据库/向量数据库/vector-database-engineer commit b5e05f137b

Frequently asked questions

npx skillmds@latest add kscz0000/vector-database-engineer