Video Transcriber

video-transcriber

把 B 站视频或本地音视频转成带时间戳的文字。基石模型：FunASR Paraformer-Large + FSMN-VAD + CT-PUNC（中文 ASR + 标点恢复）。

When to Use

• 用户给一个 B 站链接（BV 号 / bilibili.com/video/... / b23.tv/...），要转写或总结
• 用户给一个抖音链接（v.douyin.com 短链 / douyin.com/video/<id>），要转写或总结
• 用户给本地视频/音频路径（mp4, mkv, mp3, wav, m4a 等），要文字稿
• 混合文本里塞了个视频链接 + 转写/总结意图

NOT for：纯图片 OCR、PDF 文字、纯字幕文件翻译、YouTube（暂未适配）

Setup（新用户一条命令完成，三种路径按需选择）

run.bat --setup          # Windows：检查环境 + 配置 ASR + 写配置
./run.sh --setup         # Linux/macOS

三种运行路径（环境负担递减）：

• 路径 B：设 SILICONFLOW_API_KEY=<你的 key>（siliconflow.cn 免费注册），即可免下 1.1GB 模型直接用
• run.bat / run.sh 连 Python 都没有时会自动安装 uv，uv 自动下载 Python + 依赖——全程无感
• 已有 avtt / 任意 conda 环境（装了 funasr + torch）的用户：直接跑，0 安装

python setup.py --model-root D:\path\to\existing\model   # 复用已有模型，跳过下载

How to Invoke（推荐）

始终用 run.bat（Windows）或 run.sh（Linux/macOS）——自动选 avtt conda env → 任意 conda env → uv → system python 四层通道。不要直接 python video_transcriber.py（PATH 里的 python 可能没装 funasr/torch）。

run.bat "BV1xx411c7mD"
run.bat "https://www.bilibili.com/video/BV1xx411c7mD"
run.bat "帮我看看这个 https://b23.tv/abc123 讲什么"
run.bat "C:\Videos\lecture.mp4"
run.bat "D:\audios\interview.wav"
run.bat --status
run.bat --clear-cache

作为 Python 模块调用（智能体集成）：import video_transcriber，调用 run() / info() / check_status() / initialize() / setup() / clear_cache()。

ASR 后端（config.json 的 asr_backend）

云端供应商（asr_provider）：

用火山方舟做供应商（OpenAI 兼容）：

{
  "asr_backend": "cloud",
  "asr_provider": "openai",
  "asr_base_url": "https://ark.cn-beijing.volces.com/api/v3",
  "asr_api_key": "<火山方舟 API Key>",
  "asr_model": "<豆包语音模型，如 doubao-seed-asr-1>",
  "asr_verbose_json": true
}

云端通用限制：音频通常 ≤1 小时、文件 ≤50MB（超出自动报错）。

B 站下载已纯标准库化（urllib），直连失败自动降级 yt-dlp 兜底（若已安装）。

Input Recognition

抖音下载方案（多级 fallback）：L1 H5 分享页 SSR 直连（快、零依赖）→ L2 Selenium 浏览器拿 cookie 调 web detail API 拿 CDN 地址（稳定，绕开风控，需装 selenium）→ L3 手动 cookie（浏览器复制，最快最稳）。抖音风控是动态的，失败时稍后重试或填 cookie 即可。

通用平台（非 B 站/抖音链接）：走 yt-dlp 主路由下载音频（pip install yt-dlp）。分享链接支持整段粘贴（自动提取 URL）。

Output

{
  "status": "success",
  "type": "bilibili",
  "title": "视频标题",
  "transcription": "全文（带标点）",
  "transcription_path": "<cache>/text/视频标题.txt",
  "segments": [{"start": 0.0, "end": 4.2, "text": "第一句..."}, ...],
  "duration": 930.5,
  "bv_id": "BV1xx411c7mD",
  "url": "https://...",
  "_skill": {"name": "video-transcriber", "version": "3.0.0"}
}

Configuration

默认 config.json（首次运行自动生成，model_root 可指向任意已有模型目录复用）：

{
  "max_duration_minutes": 70,
  "use_punc": true,
  "device": "auto",
  "auto_download": true,
  "asr_backend": "auto",
  "siliconflow_api_key": "",
  "siliconflow_model": "FunAudioLLM/SenseVoiceSmall",
  "model_root": "<skill>/model",
  "cache_dir": "<skill>/cache",
  "cookie": ""
}

复用已有模型：把 model_root 改成已有 Paraformer 三件套的根目录即可，跳过 1.1GB 下载：

{ "model_root": "D:\\Desktop_Archive\\AI-VedioToText\\model" }

Requirements

• Python 3.10–3.12（3.13+ 可能跟 funasr 不兼容）
• ffmpeg（本地音视频必需；Windows: winget install ffmpeg）
• ~1.1 GB 磁盘（模型）；可选 NVIDIA GPU（CUDA 加速 5–10x）

Troubleshooting

Module Layout