# Multimodal LLM

> 调用文心一言多模态大模型，支持文本与图片混合输入，以 SSE 流式方式返回 AI 生成内容。适用于图文分析、拍照解题、智能客服等多模态 AI 场景。

- Skill: `qq5855144/multimodal-llm` (Agent Skill, multi-file: 2 files)
- Install (CLI): `npx skillmds@latest add qq5855144/multimodal-llm`
- Raw SKILL.md: https://api.skillmd.com/api/skills/qq5855144/multimodal-llm/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- License: MIT
- Author: qq5855144 (https://skillmd.com/u/qq5855144)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/qq5855144/multimodal-llm

---


## 能力概述

调用百度千帆平台文心一言多模态大模型（ERNIE 4.5 Turbo VL），通过统一 Chat Completions 接口，支持将文本与图片混合传入，以 SSE 流式方式逐块返回模型生成内容。

| 维度 | 说明 |
|------|------|
| Endpoint | `POST https://app-bo4w33bsdqm9-api-k93RZBjPykEa-gateway.appmiaoda.com/v2/chat/completions` |
| 认证模式 | `platform_managed`（密钥由平台注入，无需用户配置） |
| 流式协议 | SSE（Server-Sent Events），每块为 `data: {...}` 格式 |
| 图片格式 | JPG / JPEG / PNG / BMP，单图不超过 10 MB |
| 上下文限制 | 32k token（单次最大 27k token） |
| 计费单价 | 原价 ¥0.60 / 千次，优惠价 ¥0.45 / 千次 |

Auth Header 为 `X-Gateway-Authorization: Bearer ${INTEGRATIONS_API_KEY}`（注意不是标准的 `Authorization`）。


**多平台实现差异：**

| 平台 | 图片处理方式 | 流式接收方式 |
|------|------------|------------|
| Web | 原生 `fetch` + `eventsource-parser` 解析 SSE | `sendStreamRequest` 工具函数 |
| MiniProgram | `imageToBase64` 转 Base64（H5/weapp 双环境兼容） | `sendChatStream`（`miaoda-taro-utils`） |
| App | `expo-image-picker` 获取图片 → base64 传入 | `expo/fetch` + `eventsource-parser` 处理 SSE（必须使用 `expo/fetch`，RN 原生 fetch 不支持流式 `response.body`） |

完整实现代码、参数表及各平台 Edge Function 详见 `references/chat-completions-api.md`。

---

## 生成期用法（Agent 直接调用）

在生成期脚本中直接调用上游 API，适用于快速验证或服务端批处理场景。

详细生成期代码（含完整参数、响应解析）见 `references/chat-completions-api.md` → **生成期代码** 小节。

---

## 生成后用法（应用内通过 Edge Function 调用）

应用运行期通过 Supabase Edge Function 代理上游 SSE 流。Edge Function 负责注入 `INTEGRATIONS_API_KEY`，前端通过 SSE 工具库实时接收流式内容。

- **Web 端**：`sendStreamRequest`（`ky` + `eventsource-parser`）
- **MiniProgram 端**：`sendChatStream`（`miaoda-taro-utils`），图片必须先用 `imageToBase64` 转为 Base64

详细 Edge Function 代码、前端调用代码及平台特有注意事项见 `references/chat-completions-api.md` → **Edge Function 代码** 和 **前端调用代码** 小节。