dsh-desktop-automation
用于 DeepSeek Harness 的 macOS 桌面自动化：通过代理工具控制鼠标、键盘、滚动、应用、窗口和屏幕截图，并支持视觉闭环（查看 + 定位）。GUI 会话服务，不随系统启动自动运行。
插件会安装到这里；不确定时保持 web。
npx -y @deepseek-ai/dsh plugin --profile web add dsh-desktop-automation@0.1.1Desktop Automation 以 dsh-desktop-automation 发布，当前版本为 0.1.1。Plugin Hub 会校验它的 manifest，并保存精确安装来源，便于复现安装结果。
正在加载相关插件…
macOS 桌面自动化 dsh 插件：让 dsh 的 agent 能直接控制桌面——鼠标/键盘/滚动/应用/窗口/截图，并整合视觉闭环（截图 → 识图 → 定位 → 点击 → 验证）。
主模型多模态/纯文本均可使用：截图走系统
screencapture（屏幕录制已授权）；识图/定位复用 dsh 视觉凭据（OPENCODE_GO_API_KEY），与 dsh-autovision 共用同一套凭据，无需单独配 key。
浏览器自动化（playwright 等）只能操作网页；非浏览器的桌面软件——剪辑工具、设计软件、办公套件、系统设置、原生 App——一直够不着。这个插件把「agent 操作 macOS 桌面」补上：agent 像人一样看屏幕、移鼠标、敲键盘。
核心场景：
一句话：给 agent 一双看屏幕的眼睛（desktop_see/desktop_locate）和一双手（desktop_click/type/key/drag/scroll）。
注册 14 个 agent 工具（模型可直接调用）：
| 工具 | 说明 |
|---|---|
desktop_perm | 权限/服务状态自检 |
desktop_apps | 列出运行中应用 |
desktop_win | 列出窗口（含坐标/尺寸） |
desktop_app | 激活应用（需先启动） |
desktop_mouse | 移动鼠标 |
desktop_click | 点击（左/右/次数） |
desktop_drag | 拖拽 |
desktop_scroll | 滚动 |
desktop_key | 按键/组合键 |
desktop_type | 输入文本（中文 OK，Unicode 注入） |
desktop_shot | 全屏/区域截图 |
desktop_see | 识图：描述图片/OCR/UI 元素（复用 dsh 视觉凭据） |
desktop_locate | 视觉定位：输出可交互元素 type/text/box/center 坐标 |
desktop_stop | 停止服务 |
HTTP 路由：/desktop/status /desktop/start /desktop/stop /desktop/check /desktop/authorize（设置卡片用）。
完整 GUI 自动化：「截图 → 看图理解 → 定位坐标 → 点击 → 再截图验证」：
desktop_shot → 截图
desktop_see → 识图（文字/UI/内容描述）
desktop_locate → 拿到元素 center 坐标（type/text/box/center，已换算回原图像素）
desktop_click → 按坐标点击
desktop_see → 再截图识别，验证操作结果
desktop_see 封装 see-image 识图（默认 kimi-k2.6 / minimax-m3，走 dsh 凭据）desktop_locate 封装 see-image --ui 模式（minimax-m3 grounding 输出坐标）dsh (agent) → 插件 index.js (desktop_* 工具) → 本地 socket → 常驻 CGEvent 服务
↑ GUI 会话按需拉起（非开机自启）
desktop-control-server 发出。launchctl bootstrap gui/$UID 按需拉起，不设登录自启（~/Library/LaunchAgents/ 无此项）。~/.agents/skills/desktop-automation/SKILL.md（含 see-image --ui 视觉定位工作流）。# 方式一：npm 包（发布后可用）
dsh plugin --profile web add dsh-desktop-automation
# 方式二：GitHub 源
dsh plugin --profile web add github:Junkrat9527/dsh-desktop-automation
# 方式三：本地 link（开发）
dsh plugin --profile web add link:/path/to/dsh-desktop-automation
或手动：web profile package.json 的 dependencies 加 "dsh-desktop-automation": "link:/path/to/repo"，bundles 追加 "dsh-desktop-automation"，重启 dsh（或用 dsh-double / twin_evolve 蓝绿）。
desktop-control-server 需辅助功能授权（系统设置 → 隐私与安全性 → 辅助功能，添加并打开开关）。screencapture 系统命令）。curl http://127.0.0.1:3080/desktop/status → {"status":"up","perm":true,"screen":true} 表示正常。perm:false：辅助功能未授权 → /desktop/authorize 引导。status:"down"：服务未跑 → 调用任意 desktop_* 工具会自动拉起。desktop_app 只激活已运行的应用；未运行先用 open -a "AppName" 启动。OPENCODE_GO_API_KEY，dsh 设置 → LLM 供应商），且网络可达。MIT