DramaPilot · 把已有短剧改编给新的观众
面向短剧创作者的本地化 Agent 项目:协调角色视觉、语言表演和文化背景三层改编。首个目标市场是美国,目标语言是美式英语。
当前版本是 可运行的离线工程原型。可以运行改编计划、模拟生成任务、故障恢复、测试片合成和审阅报告;尚不能上传一部真实短剧就自动获得本地化成片。没有验证真实换角色、英文配音、口型或文化质量。默认演示不需要 API Key,不调用收费模型。
下载工程预览 · 快速运行 · 痛点 · 工作流程 · 竞品调研 · 更多文档
它解决什么问题
一位创作者已经制作了一部中文短剧,希望把这个故事带给美国观众。视频文件可以直接传过去,但故事的表达方式未必能直接迁移。
| 遇到的问题 | 只做字幕还缺什么 | DramaPilot 希望解决什么 |
|---|
| 角色与视觉设定:原角色、服装和环境可能不符合新的故事设定 | 字幕不会改变人物形象,也不会修复相邻镜头中角色长相不一致 | 按创作者选择的虚构选角方案重塑角色,保持人物、服装和场景连续 |
| 语言与表演:中文对白、情绪和节奏不能直接照搬 | 字面翻译可能生硬;英文变长后,声音、嘴型和字幕可能错位 | 改写自然对白,固定角色声音,协调配音、口型、字幕和背景音 |
| 文化与行为:称谓、梗、仪式和社会关系依赖中国背景 | 翻译了词语,观众仍可能不知道人物为什么生气、受辱或反抗 | 保留冲突和人物动机,必要时一起改对白、动作、道具和场景 |
这里的“视觉本地化”不是自动判断演员的人种,也不是把美国视作单一族群。创作者选择具体受众和虚构角色设定;保留原角色、保留中国背景也应是有效选项。是否需要重新选角,应由故事目标和受众反馈决定。
用一个小故事理解
以下是项目自编的说明性情节,不来自某部真实短剧,也不是观众偏好实验的结论。
原场景: 一名成年角色因为婚姻进入强势家族,却被挡在宗祠门外。对方说:“你只是个赘婿,没资格进这个门。”
要保留的故事是:被当作外人 → 遭到排斥 → 决定反抗。需要讨论的不只是单个词怎么翻译,还有这个冲突在目标版本里怎样成立。
| 改编层 | 一个美国版候选 | 为什么要一起改 |
|---|
| 文化 | 宗祠门口改为当代家族私人晚宴,被拒绝入席 | 把“没有资格进入家族核心”的戏剧作用落到新的场景 |
| 语言 | “You married into this family. That doesn't give you a seat at this table.” | 传递排斥和权力关系,而非逐字解释“赘婿” |
| 视觉 | 创作者选定两名虚构成年角色,更新服装、餐桌和阻拦动作 | 如果对白说餐桌,画面仍是宗祠,改编就不自洽 |
| 连续性 | 第一个人隔了一个镜头再次出现时,仍使用同一角色参考 | 单张脸好看不代表三镜头能接成同一场戏 |
当前程序中的剧情与英文台词是预先编写的测试输入,不是系统已经理解视频或自动写出的结果。演示视频只有带水印的色块和测试音。
一步步怎样做
下面是完整产品流程。最后一列说明本版本实际做到了哪里。
| 步骤 | 创作者会得到什么 | 设计依据 | 当前版本 |
|---|
| 1. 导入已有短剧 | 视频来源、镜头、人物、对白及可用资产清单 | 优先复用已有剧本、字幕和角色图,减少重复推断 | 本地文件探测和结构化输入;自动识片与上传界面待开发 |
| 2. 明确目标版本 | 受众、角色参考、故事背景、可改与不可改事项 | “去美国”不足以决定角色和文化表达 | 已定义数据结构与固定示例;真实创作者流程待接入 |
| 3. 预览改编方案 | 源意思 → 目标改变 → 原因 → 受影响镜头 | 让创作者看懂改动,防止新设定被记成原片事实 | 结构化计划保存与校验;模型自动提案待验证 |
| 4. 估算并生成 | 逐镜头任务、费用预留、生成进度 | 视频生成耗时且有成本;网络超时不能直接再买一次 | 持久任务与模拟供应商;真实供应商未接入 |
| 5. 合成与审阅 | 成片、字幕、改编说明、待审项目 | 文件生成成功不等于人物、语言、文化都正确 | 本地测试片、字幕、音轨工具及 HTML 报告;真实质量未验证 |
| 6. 局部修改和导出 | 新版本与需要重做的镜头清单 | 改一句台词或一个角色,不应无理由重做整部剧 | 引用版本检查与旧产物拦截;真实局部重生成待验证 |
为什么要用 Agent,以及 DSH 做什么
普通工具擅长执行一项操作,比如配音、编辑画面或对口型。这个项目关注的是决定如何组合这些操作、追踪它们的依赖,并在失败或修改后继续工作。
DeepSeek Harness(DSH) 是运行 Agent 的底座,负责工具和任务运行。DramaPilot 提供短剧改编的数据结构和工具;未来接入的视频、声音模型负责实际生成;FFmpeg 负责本地媒体处理。DSH 自身不是视频生成模型。
flowchart LR
A[已有短剧与创作者要求] --> B[剧情与目标改编计划]
B --> C[DSH 调用 DramaPilot 工具]
C --> D[逐镜头生成任务与状态记录]
D --> E[媒体供应商:当前为本地模拟]
E --> F[合成、字幕与审阅报告]
F --> G[创作者检查和修改]
G --> B
开发基线固定为 DSH 0.1.5-rc.2,提交 fb2c4b9e698e30edb738bca4cf0618587db7d203。这是本项目验证的版本,并不表示它永远是 DSH 最新版本。协议测试直接调用真实 DSH 工具接口;没有据此宣称已验证模型自主完成整条链路。
竞品调研带来了什么判断
我们按“是否能改变角色、执行目标对白、完成文化相关画面改动”调研,而不把通用剪辑软件都当作直接竞品。以下来自 2026-09-14 的官方产品/API 文档研究,没有对这些商业产品进行同素材付费对比。能力和账户条件可能更新。
我们的判断: 现有能力可以成为组件,但本轮研究没有足够证据证明某个单一产品可以稳定、自动完成一整部多角色短剧的三层改编。这是项目的待验证机会,不是“市场没有竞品”或“效果一定更好”的结论。
开源方面研究了 Wan Animate、LatentSync、MuseTalk、VideoReTalking、HuMo、Phantom 和 CosyVoice。它们分别覆盖人物动画、口型、参考生成和声音,尚未集成到本项目。显存、代码许可、模型权重许可和附加依赖必须分开考虑。见研究与选型记录。
几个关键设计取舍
- 按镜头决定编辑还是重生成。 动作能保留的镜头优先研究原片编辑;文化动作和空间逻辑改变时,研究重新演绎。整部剧统一换脸并不能解决所有问题。
- 先固定角色和剧本,再生成媒体。 同一角色的多个镜头引用同一版本;改动台词后,旧配音、口型或音频驱动的视频不能悄悄混进新版本。
- 提交前记账,结果未知时暂停重发。 假如供应商已接受任务但回执丢失,系统保留预算和未知状态。换一个任务编号也不应绕过这条约束。
- 先用模拟故障验证工程行为。 模拟丢回执、轮询超时和进程重启,比一开始用收费生成查编排缺陷更可控。模拟通过不能证明真实供应商同样可靠。
- 技术通过和内容通过分别记录。 视频可解码、引用版本正确,不代表英文自然、角色一致或文化表达合适。
当前审阅报告长什么样
下图来自本地实际运行,展示预编写样例的改编说明。它不是上传界面或真实成片效果图。
离线审阅报告:源事实、文化改编和两角色目标对白
快速运行
适合愿意在本地运行命令的开发者。当前没有面向普通创作者的上传网页;不了解代码也可以先阅读上面的故事示例与流程。
1. 不安装视频工具,先看改编与任务报告
安装 Node.js 24.x(本项目验证版本为 24.15.0)与 Git,然后运行:
git clone https://github.com/tanweiping1012-source/DramaPilot.git
cd DramaPilot
npm ci
npm test
npm run demo
终端会打印审阅报告的绝对路径,在浏览器打开对应 HTML。报告包含固定的源情节、目标改编、英文台词、模拟任务和待审项目。demo.json 保存运行摘要。此模式不生成视频;模拟金额不是实际收费。
2. 可选:生成并合成 7 秒测试视频
另外安装带 drawtext、H.264 和 AAC 支持的 FFmpeg/ffprobe,并确保命令可用。字体要求和自定义工具路径见运行说明。
npm run fixture:media -- .runtime/color-fixture
DRAMAPILOT_FIXTURE_DIR=.runtime/color-fixture npm run demo -- .runtime/video-demo
测试视频由三个带 FIXTURE ONLY 水印的色块镜头和测试音组成,共 175 帧、25fps。它用于验证文件、拼接和时间线,不是本地化效果展示。使用新的 fixture 输出目录;不要覆盖已保留的运行证据。
3. 可选:在真实 DSH 中验证插件
npm install --prefix .runtime/dsh-install --ignore-scripts --save-exact @deepseek-ai/dsh@0.1.5-rc.2 pnpm@11.7.0
npm run smoke:dsh
此命令使用项目独立的 DSH 配置目录,通过真实工具接口验证插件及模拟任务,不发起模型推理。源码安装与发布包使用方式见运行说明。
已完成与下一步
| 范围 | 状态 |
|---|
| 改编、角色、对白、镜头及媒体引用的数据契约 | 已实现;契约版本 0.2.1 |
| 本地模拟供应商、持久状态、费用预留和异常恢复 | 已实现;正式验收范围见验证记录 |
| FFmpeg 测试片、字幕、音轨合成与审阅报告 | 已实现;不等于真实质量通过 |
| DSH 插件与无模型推理的协议检查 | 已实现;固定预发布版验证 |
| 自动理解真实视频、模型自主提出改编 | 未验证 |
| 真实角色重塑、英语表演、口型与文化场景改编 | 尚未运行 |
| 印尼版本、整集处理、创作者上传界面 | 后续范围 |
下一里程碑是先用有权使用的素材验证三镜头,再制作 20–40 秒的真实场景,完成两角色视觉、英文表演、文化改动和一次局部修复。真实生成需要另行选定供应商、素材使用范围与费用额度。
试片成本方案把生成用量、订阅和充值分开列出,数字是预算估计,不是已测得的成片成本。项目尚无用户增长、投放效果或质量提升数据。
继续阅读
许可与项目关系
本仓库自有代码与自编样例采用 MIT License。依赖、外部模型、字体与第三方素材不因此获得相同许可;本仓库不分发模型权重、第三方短剧或 FFmpeg 二进制。见第三方说明。
DramaPilot 是独立社区项目,与 DeepSeek、TikTok、红果及文中供应商不存在官方隶属或背书关系。