majiayu000 Wiring LLM into the Apple client (gateway streaming / on-device)
Use this skill when:
- 给
apple/app 加对话 / 生成 / 总结类 LLM 功能 - 把某条 LLM 路径从后端网关切到 on-device（或反向）
- 调试 Apple 客户端的流式输出 / token 计量 / 降级行为
Decision: gateway or on-device?
默认走后端网关：FastAPI 后端已按 skill agf-wiring-multi-llm-sdk 封装 DeepSeek / Doubao / Qwen / MiniMax（provider 切换、fallback、cost telemetry 全在服务端）。客户端只对一个自有 API 说话，不直连任何 LLM 厂商。
| 场景 | 路由 | 理由 |
|---|---|---|
| 对话 / 生成 / RAG（默认） | 后端网关 | key 不进客户端、provider 可热切、成本计量集中、合规审计单点 |
| 离线可用 / 隐私敏感（文本不出设备）/ 低延迟小任务（分类、摘要短文本） | on-device（Apple Foundation Models framework，iOS 26+ / macOS 26+；或 Core ML 自带模型） | 零 token 成本、断网可用；但模型能力 / 上下文受限 |
| 多模态生成（文生图 / 视频） | 后端网关（ml-engineer 维护的推理服务） | 客户端不嵌大模型 |
铁律：LLM 厂商 API key 永不进客户端。客户端二进制可被逆向，任何打进 app 的 key 等于公开。只有自有后端的会话凭证可进客户端。
on-device 路径若成为产品主路径（非补充），属技术选型变更 → tech-lead 新开 ADR。
Gateway streaming pattern（默认路径）
后端以 SSE（text/event-stream）暴露流式 chat 端点。注意：OpenAPI 对 SSE 描述能力有限——流式端点允许在生成 client 之外手写一个最小 SSE transport（这是 ADR-008「禁手写」的唯一豁免点，豁免范围仅限流式通道本身；请求/响应模型仍用生成类型）：
// AppCore/Sources/AppCore/LLM/StreamingClient.swift —— 唯一允许的手写网络层（SSE 豁免）
let (bytes, response) = try await URLSession.shared.bytes(for: request)
for try await line in bytes.lines {
guard line.hasPrefix("data: ") else { continue }
let payload = line.dropFirst(6)
if payload == "[DONE]" { break }
// decode 用生成的 Components.Schemas.ChatChunk 类型，不手写 DTO
}
- 首 token 延迟（TTFT）必须上报（客户端打点 → 后端 observability.md 字段）
- 取消语义：视图消失 / 用户停止 →
Task.cancel()必须真正断开 SSE 连接（防后台烧 token） - UI 增量渲染走
@MainActor的AsyncSequence消费，禁在主线程做 JSON 解析
Config contract
客户端无 .env；配置走 build configuration / Info.plist 注入：
| 项 | 载体 | 说明 |
|---|---|---|
| 网关 base URL | xcconfig per-configuration（Debug → localhost / UAT 栈，Release → 生产） | 禁硬编码在 Swift 源码 |
| 会话凭证 | Keychain | 禁 UserDefaults / 文件 |
| on-device 模型开关 | feature flag（后端下发或本地配置） | 降级链路可远程关 |
Fallback & guardrails
- 网关不可达 → 有 on-device 路径的功能降级 on-device 并明示用户"离线模式"；无降级路径的功能给可重试错误态（禁白屏 / 禁假装成功）
- on-device 模型不可用（机型 / OS 不支持 Foundation Models）→
@available+ 能力探测 gating，回落网关或隐藏入口 - 成本护栏：客户端不直接产生 token 成本（网关集中计量），但必须防"循环重试风暴"——重试上限 + 指数退避
- 合规（
apple-native.md§7）：AI 生成内容须有举报 / 过滤入口；用户输入发往后端在隐私政策声明；隐私清单如实标注
Verifications before "done"
- Streaming：真实增量到达（非整段一次性返回）；TTFT 已打点
- 取消：mid-stream 取消后抓包 / 日志确认连接真实断开
- 降级：模拟网关不可达（base URL 指向
localhost:1），确认降级行为符合上表 - 密钥：
strings扫 release 二进制无任何厂商 key / 网关密钥（strings App | grep -iE 'sk-|api[_-]?key'） - 类型：请求 / 响应模型来自生成代码（SSE transport 豁免仅限通道层）
- on-device 路径（如有）：在最低支持机型实测延迟 + 内存峰值
Anti-patterns
- ❌ 厂商 API key 编进客户端（含"先临时测一下"）—— 逆向即泄漏
- ❌ 客户端直连 DeepSeek / Doubao / Qwen / MiniMax —— provider 切换 / 计量 / 合规全失控
- ❌ 借 SSE 豁免扩大手写面 —— 豁免仅限流式通道，请求/响应类型仍走生成代码
- ❌ 流式 UI 全量 setState 重渲染长文本 —— 增量 append，注意 attributed string 成本
- ❌ 取消只停 UI 不断连接 —— 后台连接继续烧 token
- ❌ on-device 与网关行为差异不告知用户 —— 离线模式必须明示
References
- 后端 provider 封装 / env 契约 / fallback：skill
agf-wiring-multi-llm-sdk（服务端 SSOT，本 skill 不重复） - 契约纪律与豁免边界：ADR-008
- Apple Foundation Models framework：developer.apple.com（接入前 WebFetch 当前文档，API 迭代快）