auto-vision
auto-vision
贴图不会让对话报错,图片在聊天窗口里正常显示;
模型自动判断是否需要看图,需要时自己调用视觉模型读取内容 ——
免费,支持智谱 / 魔搭社区的免费视觉模型,也支持你自己的任意 OpenAI 兼容平台。
演示
录制于 DeepSeek Harness Web 界面:粘贴图片 → 对话正常继续 → 模型自动调用视觉模型读取图片内容。
使用演示
安装
-
把本目录拷到 DSH profile 的 node_modules 下(如 ~/.dsh/profiles/web/node_modules/auto-vision/)。
-
在 profile 的 cordis.patch.yml 中插入:
- insert:
- id: auto-vision
name: auto-vision
-
配置 Token(见下),重启 DSH 进程。
配置 Token
| 视觉平台 | 环境变量 | 免费模型 |
|---|
| 智谱 BigModel | ZHIPU_API_KEY | GLM-4V-Flash(免费) |
| 魔搭 ModelScope | MODELSCOPE_API_KEY | Qwen3-VL(免费额度) |
| 其他任意 OpenAI 兼容平台 | VISION_API_KEY + VISION_ENDPOINT + VISION_MODEL | 你平台的模型 |
也可以把 Token 写进 ~/.dsh/.credentials.yaml(同名键),效果一样。
export ZHIPU_API_KEY=xxx # 用智谱
export MODELSCOPE_API_KEY=xxx # 用魔搭
切换视觉源
默认魔搭;想用智谱免费档,二选一:
export VISION_PROVIDER=zhipu # 环境变量方式
# 或写在插件 config 里
- id: auto-vision
name: auto-vision
config:
provider: zhipu
自己的平台(例如本地 Ollama)直接指定端点:
config:
endpoint: http://127.0.0.1:11434/v1/chat/completions
models: [qwen2.5-vl:7b]
License
MIT · Changelog