AI Multimodal Video Pipeline
把 PDF / EPUB 的深度内容转成可稳定生产的竖屏视频：不是单点文生视频，而是一条带 Evidence、脚本、音频、Storyboard、视觉确认和失败恢复的多模型 Workflow。
已真实产出
成片
1080×1920
输出规格
2 类已验收
视觉方向
脚本 + 视觉
人工 Gate
Problem
要解决的问题
“让模型生成一段视频”不难，难的是把长内容可靠地转成有结构、有证据、有节奏、可重复运行且成本可控的成片流程。长链路任务容易中断、重复执行和重复计费，生成内容也可能和原文脱节。
从哪里切入
当前生产主流程：PDF / EPUB → Extract → Evidence → Coverage Plan → Structured Script → 人工脚本确认 → TTS → Real Audio Alignment → Semantic Storyboard → 首批视觉样片 → 人工视觉确认 → 剩余画面 → Motion / Subtitle → final.mp4 + 封面 + 发布文案。
Key Decisions
关键决策
先 Evidence，再写脚本
先做 Evidence / Coverage Plan，再写结构化脚本，避免内容脱离原文。纯扫描 PDF 直接拒绝，不为“什么都支持”引入低价值 OCR。
两道人工 Gate，而不是一次全自动
脚本确认之后才进 TTS；首批视觉样片确认之后才生成剩余画面。错误在最便宜的阶段被拦下，而不是在渲染后返工。
为长链路失败而设计
阶段性产物、任务去重与失败恢复降低重复计费；模型按 Quality / Cost / Latency / Reliability 取舍，而不是只看某个模型的 Demo 效果。
AI CODING → AI Coding 实现从内容抽取、脚本、音频对齐、分镜到渲染的阶段编排；人工负责脚本与视觉两道确认 Gate 和质量标准。
Evolution
产品演进
Evidence
Extract → Evidence → Coverage Plan
脚本 Gate
Structured Script + 人工脚本确认
音频对齐
TTS + Real Audio Alignment
视觉 Gate
Semantic Storyboard + 首批样片人工确认
成片交付
Motion / Subtitle → final.mp4 + 封面 + 发布文案
Evidence
Extract → Evidence → Coverage Plan
脚本 Gate
Structured Script + 人工脚本确认
音频对齐
TTS + Real Audio Alignment
视觉 Gate
Semantic Storyboard + 首批样片人工确认
成片交付
Motion / Subtitle → final.mp4 + 封面 + 发布文案
Results
结果
已真实跑通 UI 生产流程并产出完整竖屏视频：1080×1920、30fps、H264 + AAC；两类正式视觉方向已有真实样片并经过人工验收；形成脚本确认、视觉确认、音频对齐、字幕 / 画面绑定和 Publish Package。
支持有文本层的 PDF 与 EPUB。
Evidence
- 抖音上的真实成片
- 1080×1920 / 30fps / H264 + AAC 输出规格
- 两类视觉方向的人工验收样片
Writing
这个项目的踩坑记录
- 2026-07-29我以为接上几个 API 就能自动做视频，后来先删掉了一半功能
- 2026-07-29我不再让 AI 直接读完整本书写脚本
- 2026-07-30AI 视频最贵的不是生图，是配音
- 2026-07-30脚本和图片都完成后，我又为几行字幕重建了时间线
发布在公众号「阿兰 AI-Coding中」，在公众号内搜索标题即可阅读。关注方式