@nex-assistant/media-sense
为 DeepSeek Harness 提供音频和视频理解功能，支持配置模型和 FFmpeg 设置。
插件会安装到这里；不确定时保持 web。
npx -y @deepseek-ai/dsh plugin --profile web add github:xhznAI/media-sense#a70d99331f4cbbbf5c2bbffcb55648250c4838f2
Media Sense 以 @nex-assistant/media-sense 发布，当前版本为 0.1.1。Plugin Hub 会校验它的 manifest，并保存精确安装来源，便于复现安装结果。
录音太长？视频懒得拖？交给 DSH 听一听、看一看。
DeepSeek Harness 的音视频理解插件 · Web / Desktop
| 你手里的东西 | 可以这样问 DSH |
|---|---|
| 🎙️ 一段会议录音 | 「整理决定了什么、谁来做，听不清的地方标出来。」 |
| 🎬 一段产品演示 | 「按时间线讲讲操作步骤，找出最适合做封面的画面。」 |
| 🎧 一段采访 | 「转成文字，区分说话人，再给我一版精简摘要。」 |
| 🧰 待处理的素材 | 「先检查 FFmpeg 和 FFprobe，缺了就帮我装好。」 |
Media Sense 把本地音视频交给你选择的模型，返回文字结果。音频和视频可以各选一个模型，FFmpeg 也有独立的检测、安装入口。
上传一段测试配音，问「这段音频说了啥」，得到逐句转写和内容总结。
上传一段 30 秒的东京夜景视频，问「这段视频讲的啥」，得到日语对白的中文解释和按时间排列的画面说明。
DSH 实机视频理解：东京夜景视频的日语对白、画面顺序与总结
音视频由 Media Sense 中配置的模型分析，再由 DSH 整理回答；输入框显示的是主对话模型。
DSH 中的 Media Sense 设置页：FFmpeg、音频模型与视频模型
① 装进 DSH
桌面版打开侧栏 插件 → 添加插件，填入以下 GitHub 来源，安装后启用 Media Sense：
github:xhznAI/media-sense#v0.1.1
浏览器版也可以在终端安装，完成后重启 Web 服务：
dsh plugin --profile web add github:xhznAI/media-sense#v0.1.1
其他安装和更新方式见安装指南。
② 选好耳朵和眼睛
打开 设置 → Media Sense → 添加模型，填写模型 ID、接口地址和 API Key，选择接口格式与输入能力。然后分别选中音频模型、视频模型，保存。
③ 开始提问
把素材放进 DSH 工作区，告诉它文件在哪里、你想知道什么。例如：
用 Media Sense 分析
demo.mp4，按时间线列出主要画面，并标出值得回看的片段。
真实模型配置界面：模型 ID、接口格式、地址、Key 与输入能力
显示名称可以随意取；模型 ID 要使用服务商提供的准确名称。接口格式要与服务商实际实现相符，“兼容 OpenAI”不代表所有音视频扩展都通用。
下表按插件中的 接口格式名称 对应。模型 ID 可以复制；链接指向厂商文档。
| 接口格式 | 推荐从这些模型开始 | 本插件可发送的素材 |
|---|---|---|
| Google Gemini | gemini-3.8-flash | 🎧 音频 · 🎬 视频 |
| OpenAI Chat Completions | gpt-audio-1.5 | 🎧 WAV / MP3 音频 |
| Qwen Omni | qwen3.8-omni-flash | 🎧 音频 · 🎬 视频 |
| MiMo Omni | mimo-v2.6-flash、mimo-v2.6-pro | 🎧 音频 · 🎬 视频 |
| Kimi Video | kimi-k3.1-pro、kimi-k2.6 | 🎬 视频画面 |
| GLM Video | glm-4.6v（兼容性待验证） | 🎬 视频画面，见下方说明 |
想先接一个同时处理音频和视频的模型，可以从 Gemini、Qwen Omni 或 MiMo 中选你已有账号的一家。只接 OpenAI 音频时，请选支持音频输入的型号，普通聊天模型不能替代。
GLM 的例外： 当前插件直接发送本地视频的 Base64；智谱的官方资料对视频 Base64 支持存在差异，部分只列 URL。glm-4.6v 暂列候选，接入前需验证所用服务端。详情与依据
以上型号参考厂商文档，尚未逐一实测。可用型号、格式和额度以你的服务商账号为准；接口地址见配置手册。
要看具体模型。Kimi Video、GLM Video 在本插件中用于画面理解，不能据此假定支持声音理解。需要分析对白或环境音时，选支持对应输入的模型；必要时先用 FFmpeg 提取音频。
默认每次合计 25 MB，可以在模型卡片中分别调整音频和视频的上限。服务商的请求体、时长和上下文限制仍然有效；长素材建议先裁剪。插件不会自动压缩或切片。额度说明
能。Media Sense 可以在 DSH 桌面版和浏览器版中使用。
感谢以下项目的维护者与贡献者：
也推荐关注 DSH 社区的语音项目：
🛠️ 独立开发与宿主接入 · 🔐 文件与 Key 如何处理 · 🎨 图片来源
Made by zhoufeiyu · xhznAI · MIT License