# AI Video Creation

> 将 AI 视频创作需求转化为可执行的本地或开源工作流。适用于文生视频、图生视频、视频续写、视频重绘、多镜头短片、角色一致性、ComfyUI 工作流、模型选型、显存优化、镜头表、提示词包和故障排查。触发后先明确任务、素材、交付规格、硬件与授权要求，再选择候选技术路线；当 Wan2.2 与 ComfyUI 适合任务时，优先复用本仓库已校验的文生视频、图生视频或三镜头连续工作流。不得虚构模型版本、仓库、节点、显存占用、生成速度或商业许可。

- Skill: `yniantongtian-oss/ai-video-creation` (Agent Skill, multi-file: 5 files)
- Install (CLI): `npx skillmds@latest add yniantongtian-oss/ai-video-creation`
- Raw SKILL.md: https://api.skillmd.com/api/skills/yniantongtian-oss/ai-video-creation/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Coding & Dev Tools
- Author: yniantongtian-oss (https://skillmd.com/u/yniantongtian-oss)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/yniantongtian-oss/ai-video-creation

---


# AI Video Creation Skill

把用户的创意转换为 **可执行、可复现、可检查** 的 AI 视频制作方案。优先使用官方开源仓库、用户已有环境和本仓库已校验的工作流；无法确认的信息必须标为待核验，不得猜测。

## 触发范围

在用户提出以下需求时使用本 Skill：

- 文生视频（T2V）、图生视频（I2V）、视频生视频（V2V）。
- 视频续写、首尾帧控制、关键帧驱动、角色或产品一致性。
- 多镜头短片、广告、剧情片段、科普视频、社交媒体视频。
- ComfyUI 视频工作流、Diffusers 脚本、本地部署和显存优化。
- AI 视频模型、开源库、节点、工作流或技术路线推荐。
- OOM、缺少节点、模型路径、VAE、dtype、帧率、闪烁等故障排查。

不把本 Skill 用于未经授权的人脸冒用、欺骗性深度伪造、违法内容或规避平台安全机制。

## 工作原则

1. **先定义交付物，再选模型。** 不根据项目热度直接推荐。
2. **官方来源优先。** 具体版本、安装命令和许可证必须以当前上游文档为准。
3. **已有工作流优先复用。** 不重复手写已经存在且通过结构校验的节点图。
4. **不把估算写成事实。** 显存、速度、最长时长和分辨率都受模型、量化、节点、驱动和工作流影响。
5. **先最小验证。** 先生成 2–5 秒、较低分辨率的样片，再扩大规模。
6. **长视频拆镜头。** 默认采用镜头表、关键帧、短片段生成、剪辑与音频后期，而不是一次生成完整长片。
7. **交付必须可复现。** 记录模型、工作流版本、种子、分辨率、帧率、提示词、输入素材和后处理步骤。
8. **商业使用先审许可。** 仓库许可证、代码许可证、模型权重许可证和输出使用条款可能不同。

## 第一步：建立制作 Brief

优先从用户已有信息提取，不重复追问已经明确的内容。至少确定：

- `goal`：视频用途与核心信息。
- `mode`：T2V、I2V、V2V、续写、角色动画或混合模式。
- `duration`：总时长与单镜头预期时长。
- `aspect_ratio`：如 16:9、9:16、1:1。
- `resolution` 与 `fps`：目标值；未知时先用验证规格。
- `assets`：参考图、首尾帧、角色设定、产品图、已有视频、音频和字幕。
- `style`：写实、动画、电影感、广告、纪录片等。
- `hardware`：GPU 型号、可用显存、内存、系统、CUDA/PyTorch 环境。
- `delivery`：最终文件格式、平台、截止时间、是否商用。

信息不足但可以安全推进时，使用明确假设并标注，不因次要信息阻塞整个方案。

## 第二步：任务路由

### T2V

适合概念镜头、环境、抽象画面和无严格主体一致性的短片。先写镜头级提示词，再决定模型。

### I2V

适合人物、产品、海报、角色设定或固定构图。必须说明参考图质量、期望运动、镜头运动和需要保持不变的元素。

### V2V

适合风格迁移、重绘、运动保持或已有素材增强。先确认是否需要保留构图、动作、人物身份、时长和音频。

### 多镜头或长视频

默认流程：

```text
创意目标 → 剧本/旁白 → 镜头表 → 关键帧 → 单镜头生成 → 一致性检查
→ 补帧/超分 → 剪辑 → 配音/音乐/字幕 → 总体验收
```

不要默认使用“末帧无限续写”作为唯一方案；它可能累积构图漂移、主体变化和画质退化。

## 第三步：选择技术路线

先查看 [`references/model-selection.md`](references/model-selection.md) 和仓库根目录的 `catalog/projects.json`。

候选路线通常包括：

- **ComfyUI**：需要节点式调试、复用工作流、图形化控制或 API 集成时。
- **Wan2.2**：需要其官方支持的文生视频、图生视频或扩展任务时。
- **LTX-Video / LTX-2**：需要其当前上游提供的关键帧、视频扩展或音视频能力时。
- **HunyuanVideo / HunyuanVideo-1.5**：需要腾讯混元视频路线时。
- **CogVideo**：需要 CogVideo 系列或 Diffusers 生态集成时。
- **Open-Sora**：研究、训练或自定义完整视频生成管线时。
- **Diffusers**：需要 Python 代码、批处理、服务化或与其他模型组件组合时。

选择结果至少包含：主路线、备选路线、选择理由、已知限制、待核验版本和许可、最小验证配置。

## 第四步：复用仓库内工作流

当任务选择 **ComfyUI + Wan2.2** 时，优先使用：

| 任务 | 工作流 |
|---|---|
| 文生视频 | `../../workflows/wan22_t2v_4step.json` |
| 图生视频 | `../../workflows/wan22_i2v_4step.json` |
| 三镜头连续长视频 | `../../workflows/wan22_long_video_3shot.json` |

执行顺序：

1. 阅读 `../../workflows/README.md`。
2. 运行 `python scripts/materialize_workflows.py`，生成三镜头标准 JSON。
3. 运行 `python scripts/validate_workflows.py`。
4. 依据 `../../workflows/models.json` 检查模型文件和目录。
5. 可使用 `scripts/download_workflow_models.py` 先做 `--dry-run`，确认路径和下载计划后再下载。
6. 将用户素材、提示词、比例、分辨率、帧数和种子写入副本，不直接破坏仓库基准模板。
7. 先运行单镜头最小样片，再运行三镜头工作流。

三镜头模板会把上一镜头的最后一帧作为下一镜头首帧，并删除拼接时重复的边界帧。它仍会累积身份、构图和背景漂移，因此不应宣传为“无限无漂移长视频”。

**验证边界：** 仓库自动检查 JSON、节点、槽位、连接和模型引用；除非实际 GPU 推理成功，否则只能说“结构验证通过”，不能声称“视频生成已验证”。

## 第五步：生成项目骨架

当仓库脚本可用时，优先执行：

```bash
python scripts/scaffold_project.py \
  --name "项目名称" \
  --duration 30 \
  --aspect-ratio 16:9 \
  --mode mixed
```

然后填写：

- `brief.md`：目标、受众、风格、约束和验收条件。
- `shots.csv`：每个镜头的时长、画面、运动、输入素材、模型、种子和状态。
- `prompts.md`：正向提示词、负向约束、角色锚点与镜头级提示词。
- `manifest.json`：项目参数和可复现信息。

## 第六步：输出工作流方案

最终方案按以下顺序给出：

1. **需求摘要与假设**。
2. **主路线 / 备选路线**。
3. **选用的仓库工作流或新建工作流理由**。
4. **最小验证步骤**。
5. **安装与模型准备**：仅使用已核对的官方文档；版本不确定时不要写死。
6. **镜头表**：镜头编号、时长、构图、主体动作、镜头运动、输入素材、生成模式。
7. **提示词包**：全局视觉锚点、角色锚点、单镜头提示词、负向约束。
8. **工作流参数**：分辨率、帧率、帧数、种子、采样与后处理；不确定值标为建议起点。
9. **质量控制**：主体一致性、手部/文字、运动连续性、闪烁、边缘、音画同步和字幕。
10. **风险、许可和失败回退方案**。

完整交付格式见 [`references/workflow-contract.md`](references/workflow-contract.md)。

## 最小验证规则

首次运行默认只验证一个镜头：

- 2–5 秒。
- 较低或中等分辨率。
- 固定种子。
- 单一参考图或单一动作目标。
- 关闭非必要超分、补帧和复杂后处理。

验证通过后再逐项增加分辨率、时长、控制条件和批量数量。每次只改变少量变量，以便定位问题。

## 显存与性能处理

出现显存不足或速度过慢时，按以下顺序处理：

1. 降低帧数、分辨率或批量。
2. 使用上游明确支持的低精度、量化或分块方案。
3. 启用模型、文本编码器或 VAE 的 CPU offload（仅在当前管线支持时）。
4. 减少同时加载的模型、Control、LoRA 和自定义节点。
5. 先低分辨率生成，再进行超分、补帧和编码。
6. 记录调整前后的峰值显存、耗时和画质变化。

不凭显存容量断言某个模型“一定能跑”或“一定不能跑”。

## 故障排查

出现以下情况时阅读 [`references/troubleshooting.md`](references/troubleshooting.md)：

- CUDA OOM 或系统内存耗尽。
- ComfyUI 缺少节点或工作流版本不兼容。
- 模型、VAE、文本编码器或 LoRA 路径错误。
- dtype、CUDA、PyTorch 或加速库不兼容。
- 视频闪烁、人物漂移、动作断裂、画面变形。
- 输出帧率、时长、音频或编码异常。

## 禁止事项

- 不虚构不存在的模型版本、仓库、节点、参数或下载地址。
- 不引用未经核验的 Stars 数作为推荐依据。
- 不把社区量化包或第三方节点描述成官方发布。
- 不保证特定显卡的速度、显存占用或最大生成时长。
- 不在未看到工作流 JSON 时声称已经验证其节点连接。
- 不把结构校验写成 GPU 推理成功。
- 不把“生成完成”写入回复，除非实际工具或运行环境返回成功结果。
- 不忽略模型权重的许可证、地域限制或商业使用条件。

## 相关文件

- [`../../workflows/README.md`](../../workflows/README.md)：三套 ComfyUI 工作流说明。
- [`../../workflows/models.json`](../../workflows/models.json)：模型文件与官方来源清单。
- [`references/model-selection.md`](references/model-selection.md)：任务与技术路线选择。
- [`references/workflow-contract.md`](references/workflow-contract.md)：标准交付格式。
- [`references/troubleshooting.md`](references/troubleshooting.md)：常见问题排查。
- [`templates/video-brief.md`](templates/video-brief.md)：视频项目 Brief 模板。
- [`../../catalog/projects.json`](../../catalog/projects.json)：机器可读项目目录。