通用识图 (Vision Universal)
使用多模态模型分析图片内容,支持多图和单图。
插件路径
plugins/vision_universal/
工作方式
直接调用 provider.respond() 将图片注入 chat messages,走多模态模型的 Chat Completions API,无需额外配置。
模型优先级
vision_model(config.json 专用配置)> 默认聊天模型 model
如配置 "vision_model": "xiaomi/mimo-v2.5",识图使用 MiMo;不配则使用聊天模型自动检测。
注册工具
| 工具名 | 描述 |
|---|---|
vision_analyze |
分析单张或多张图片,支持本地文件和远程 URL |
vision_universal |
兼容旧名,功能同 vision_analyze,优先使用 images 参数 |
image 参数为兼容旧调用保留,实际调用时优先使用 images(列表)。
参数
| 参数 | 类型 | 必需 | 默认值 | 说明 |
|---|---|---|---|---|
images |
string[] | 否 | — | 图片路径列表(本地文件路径或 http/https URL)。优先使用此参数 |
image |
string | 否 | — | 单张图片路径(兼容旧参数,优先使用 images) |
prompt |
string | 否 | "描述这些图片的内容" |
分析提示词 |
detail |
string | 否 | "auto" |
图片解析精度。常见值:auto / low / high。仅 OpenAI 系列支持此参数,其他厂商忽略 |
结果说明
- 成功:返回模型对图片内容的分析结果(文本)
- 失败:返回
ERROR:前缀的错误信息 - 能力不支持:提示需要配置
vision_model或确认当前模型支持多模态
支持格式
jpg、png、gif、webp、bmp(本地自动转 base64)、远程 http/https URL
支持的服务商
- OpenAI 官方 — 原生多模态端点
- OpenRouter — 配专用模型即可(如
qwen/qwen2.5-vl、xiaomi/mimo-v2.5) - Anthropic Claude — 原生多模态端点
- 其他兼容厂商 — 聊天模型名命中多模态关键词(gpt-4o、gemini、vision 等)即自动开启
典型场景
| 场景 | prompt 示例 |
|---|---|
| 描述图片 | (默认)"描述这些图片的内容" |
| OCR 提取 | "提取图片中的所有文字" |
| 图表分析 | "分析这个图表的数据趋势" |
| 内容问答 | "图片中有几个人?他们在做什么?" |
| 多图对比 | images=["before.jpg", "after.jpg"] + "对比这两张图片的差异" |
常见规范
- 本地图片自动转为 base64 编码发送,远程 URL 直接传递
- 多图分析时一次调用传入多张图片,比逐张调用效率更高
prompt越具体分析结果越精准
常见处理办法
- 模型不支持多模态:配置
vision_model指定支持多模态的模型 - 图片格式不支持:转换为常见格式(jpg/png/webp)后重试
- 远程 URL 超时:下载图片到本地后使用本地路径调用
常见教训
detail参数仅 OpenAI 系列生效,其他厂商会忽略此参数- 部分厂商对图片大小有限制,超大图片可能需要压缩后传入
image和images同时传入时,优先使用images列表