dramapilot
DramaPilot 三层本地化，离线工程预览
插件会安装到这里；不确定时保持 web。
npx -y @deepseek-ai/dsh plugin --profile web add github:tanweiping1012-source/DramaPilot#62827bdf8a7737e952e8ca710a27f8047443101c
Dramapilot 以 dramapilot 发布，当前版本为 0.2.0。Plugin Hub 会校验它的 manifest，并保存精确安装来源，便于复现安装结果。
面向短剧创作者的本地化 Agent 项目：协调角色视觉、语言表演和文化背景三层改编。首个目标市场是美国，目标语言是美式英语。
当前版本是 可运行的离线工程原型。可以运行改编计划、模拟生成任务、故障恢复、测试片合成和审阅报告；尚不能上传一部真实短剧就自动获得本地化成片。没有验证真实换角色、英文配音、口型或文化质量。默认演示不需要 API Key，不调用收费模型。
下载工程预览 · 快速运行 · 痛点 · 工作流程 · 竞品调研 · 更多文档
一位创作者已经制作了一部中文短剧，希望把这个故事带给美国观众。视频文件可以直接传过去，但故事的表达方式未必能直接迁移。
| 遇到的问题 | 只做字幕还缺什么 | DramaPilot 希望解决什么 |
|---|---|---|
| 角色与视觉设定：原角色、服装和环境可能不符合新的故事设定 | 字幕不会改变人物形象，也不会修复相邻镜头中角色长相不一致 | 按创作者选择的虚构选角方案重塑角色，保持人物、服装和场景连续 |
| 语言与表演：中文对白、情绪和节奏不能直接照搬 | 字面翻译可能生硬；英文变长后，声音、嘴型和字幕可能错位 | 改写自然对白，固定角色声音，协调配音、口型、字幕和背景音 |
| 文化与行为：称谓、梗、仪式和社会关系依赖中国背景 | 翻译了词语，观众仍可能不知道人物为什么生气、受辱或反抗 | 保留冲突和人物动机，必要时一起改对白、动作、道具和场景 |
这里的“视觉本地化”不是自动判断演员的人种，也不是把美国视作单一族群。创作者选择具体受众和虚构角色设定；保留原角色、保留中国背景也应是有效选项。是否需要重新选角，应由故事目标和受众反馈决定。
以下是项目自编的说明性情节，不来自某部真实短剧，也不是观众偏好实验的结论。
原场景： 一名成年角色因为婚姻进入强势家族，却被挡在宗祠门外。对方说：“你只是个赘婿，没资格进这个门。”
要保留的故事是：被当作外人 → 遭到排斥 → 决定反抗。需要讨论的不只是单个词怎么翻译，还有这个冲突在目标版本里怎样成立。
| 改编层 | 一个美国版候选 | 为什么要一起改 |
|---|---|---|
| 文化 | 宗祠门口改为当代家族私人晚宴，被拒绝入席 | 把“没有资格进入家族核心”的戏剧作用落到新的场景 |
| 语言 | “You married into this family. That doesn't give you a seat at this table.” | 传递排斥和权力关系，而非逐字解释“赘婿” |
| 视觉 | 创作者选定两名虚构成年角色，更新服装、餐桌和阻拦动作 | 如果对白说餐桌，画面仍是宗祠，改编就不自洽 |
| 连续性 | 第一个人隔了一个镜头再次出现时，仍使用同一角色参考 | 单张脸好看不代表三镜头能接成同一场戏 |
当前程序中的剧情与英文台词是预先编写的测试输入，不是系统已经理解视频或自动写出的结果。演示视频只有带水印的色块和测试音。
下面是完整产品流程。最后一列说明本版本实际做到了哪里。
| 步骤 | 创作者会得到什么 | 设计依据 | 当前版本 |
|---|---|---|---|
| 1. 导入已有短剧 | 视频来源、镜头、人物、对白及可用资产清单 | 优先复用已有剧本、字幕和角色图，减少重复推断 | 本地文件探测和结构化输入；自动识片与上传界面待开发 |
| 2. 明确目标版本 | 受众、角色参考、故事背景、可改与不可改事项 | “去美国”不足以决定角色和文化表达 | 已定义数据结构与固定示例；真实创作者流程待接入 |
| 3. 预览改编方案 | 源意思 → 目标改变 → 原因 → 受影响镜头 | 让创作者看懂改动，防止新设定被记成原片事实 | 结构化计划保存与校验；模型自动提案待验证 |
| 4. 估算并生成 | 逐镜头任务、费用预留、生成进度 | 视频生成耗时且有成本；网络超时不能直接再买一次 | 持久任务与模拟供应商；真实供应商未接入 |
| 5. 合成与审阅 | 成片、字幕、改编说明、待审项目 | 文件生成成功不等于人物、语言、文化都正确 | 本地测试片、字幕、音轨工具及 HTML 报告；真实质量未验证 |
| 6. 局部修改和导出 | 新版本与需要重做的镜头清单 | 改一句台词或一个角色，不应无理由重做整部剧 | 引用版本检查与旧产物拦截；真实局部重生成待验证 |
普通工具擅长执行一项操作，比如配音、编辑画面或对口型。这个项目关注的是决定如何组合这些操作、追踪它们的依赖，并在失败或修改后继续工作。
DeepSeek Harness（DSH） 是运行 Agent 的底座，负责工具和任务运行。DramaPilot 提供短剧改编的数据结构和工具；未来接入的视频、声音模型负责实际生成；FFmpeg 负责本地媒体处理。DSH 自身不是视频生成模型。
flowchart LR
A[已有短剧与创作者要求] --> B[剧情与目标改编计划]
B --> C[DSH 调用 DramaPilot 工具]
C --> D[逐镜头生成任务与状态记录]
D --> E[媒体供应商：当前为本地模拟]
E --> F[合成、字幕与审阅报告]
F --> G[创作者检查和修改]
G --> B
开发基线固定为 DSH 0.1.5-rc.2，提交 fb2c4b9e698e30edb738bca4cf0618587db7d203。这是本项目验证的版本，并不表示它永远是 DSH 最新版本。协议测试直接调用真实 DSH 工具接口；没有据此宣称已验证模型自主完成整条链路。
我们按“是否能改变角色、执行目标对白、完成文化相关画面改动”调研，而不把通用剪辑软件都当作直接竞品。以下来自 2026-09-14 的官方产品/API 文档研究，没有对这些商业产品进行同素材付费对比。能力和账户条件可能更新。
| 类别与代表 | 可研究的能力 | 对本项目的启发与边界 |
|---|---|---|
| Flawless TrueSync | 保留原演员的视觉译配 | 译配和重新选角是两件事；影视精修仍是重要参考 |
| HeyGen、Rask | 视频译配、口型及部分改稿控制 | 必须确认最终音轨执行的是已批准台词，不能只看“支持多语言” |
| ElevenLabs、Deepdub | 声音与译配能力 | API、网页工作台和企业套餐权限需分别核查；声音能力不等于画面重塑 |
| Runway Aleph、Luma | 对已有镜头的角色、服装或环境编辑 | 是视觉候选组件；跨镜头一致性和原表演保留仍需实测 |
| Vidu | 参考角色驱动的镜头生成 | 可研究重新演绎，但不能当成无损修改原片 |
| Sync | 目标音频驱动的口型与说话人分段 | 适合解耦后的声音/口型流程，不负责文化判断 |
我们的判断： 现有能力可以成为组件，但本轮研究没有足够证据证明某个单一产品可以稳定、自动完成一整部多角色短剧的三层改编。这是项目的待验证机会，不是“市场没有竞品”或“效果一定更好”的结论。
开源方面研究了 Wan Animate、LatentSync、MuseTalk、VideoReTalking、HuMo、Phantom 和 CosyVoice。它们分别覆盖人物动画、口型、参考生成和声音，尚未集成到本项目。显存、代码许可、模型权重许可和附加依赖必须分开考虑。见研究与选型记录。
下图来自本地实际运行，展示预编写样例的改编说明。它不是上传界面或真实成片效果图。
适合愿意在本地运行命令的开发者。当前没有面向普通创作者的上传网页；不了解代码也可以先阅读上面的故事示例与流程。
安装 Node.js 24.x（本项目验证版本为 24.15.0）与 Git，然后运行：
git clone https://github.com/tanweiping1012-source/DramaPilot.git
cd DramaPilot
npm ci
npm test
npm run demo
终端会打印审阅报告的绝对路径，在浏览器打开对应 HTML。报告包含固定的源情节、目标改编、英文台词、模拟任务和待审项目。demo.json 保存运行摘要。此模式不生成视频；模拟金额不是实际收费。
另外安装带 drawtext、H.264 和 AAC 支持的 FFmpeg/ffprobe，并确保命令可用。字体要求和自定义工具路径见运行说明。
npm run fixture:media -- .runtime/color-fixture
DRAMAPILOT_FIXTURE_DIR=.runtime/color-fixture npm run demo -- .runtime/video-demo
测试视频由三个带 FIXTURE ONLY 水印的色块镜头和测试音组成，共 175 帧、25fps。它用于验证文件、拼接和时间线，不是本地化效果展示。使用新的 fixture 输出目录；不要覆盖已保留的运行证据。
npm install --prefix .runtime/dsh-install --ignore-scripts --save-exact @deepseek-ai/dsh@0.1.5-rc.2 pnpm@11.7.0
npm run smoke:dsh
此命令使用项目独立的 DSH 配置目录，通过真实工具接口验证插件及模拟任务，不发起模型推理。源码安装与发布包使用方式见运行说明。
| 范围 | 状态 |
|---|---|
| 改编、角色、对白、镜头及媒体引用的数据契约 | 已实现；契约版本 0.2.1 |
| 本地模拟供应商、持久状态、费用预留和异常恢复 | 已实现；正式验收范围见验证记录 |
| FFmpeg 测试片、字幕、音轨合成与审阅报告 | 已实现；不等于真实质量通过 |
| DSH 插件与无模型推理的协议检查 | 已实现；固定预发布版验证 |
| 自动理解真实视频、模型自主提出改编 | 未验证 |
| 真实角色重塑、英语表演、口型与文化场景改编 | 尚未运行 |
| 印尼版本、整集处理、创作者上传界面 | 后续范围 |
下一里程碑是先用有权使用的素材验证三镜头，再制作 20–40 秒的真实场景，完成两角色视觉、英文表演、文化改动和一次局部修复。真实生成需要另行选定供应商、素材使用范围与费用额度。
试片成本方案把生成用量、订阅和充值分开列出，数字是预算估计，不是已测得的成片成本。项目尚无用户增长、投放效果或质量提升数据。
本仓库自有代码与自编样例采用 MIT License。依赖、外部模型、字体与第三方素材不因此获得相同许可；本仓库不分发模型权重、第三方短剧或 FFmpeg 二进制。见第三方说明。
DramaPilot 是独立社区项目，与 DeepSeek、TikTok、红果及文中供应商不存在官方隶属或背书关系。