@silentforfar/dsh-computer-use
面向 DSH 的 Qoder 风格 Windows 计算机操作：窗口范围内的 UI Automation、容忍遮挡的屏幕截图，以及 SendInput 操作。
插件会安装到这里；不确定时保持 web。
npx -y @deepseek-ai/dsh plugin --profile web add github:Silentforfar/dsh-computer-use#adda1f30f393447b7e73e22b2e85ffe44d6bfa72Computer Use 以 @silentforfar/dsh-computer-use 发布，当前版本为 0.1.1。Plugin Hub 会校验它的 manifest，并保存精确安装来源，便于复现安装结果。
Computer Use — Qoder-style desktop control for DSH: per-window screenshots that tolerate occlusion, UI Automation element trees, and click/type/key/scroll/drag actions bound to a screenshot snapshot.
A DSH bundle (DeepSeek Harness plugin).
Open Plugins in the DSH Web sidebar, select More next to Experimental plugins, and switch on Custom plugin markets.
Open the Discover tab and add this index source:
https://silentforfar.github.io/dsh-market-index/index.json
Find Computer Use (@silentforfar/dsh-computer-use) in the list and press install.
Pass this spec to plugin_manager's install_bundle (or the equivalent bundle install in your profile):
git+https://github.com/Silentforfar/dsh-computer-use.git#<commit-sha>
Use a full 40-character commit SHA from this repository's history so the install stays pinned and reproducible.
Requirements. Windows 10/11 and DSH 0.2.1-rc.2 or newer. The helper is cua.ps1, spawned as one long-lived Windows PowerShell process (NDJSON over stdin/stdout) by the plugin itself; the tools follow whatever permission preset the session uses.
Verified on this machine. Notepad: screenshot returned as an image, typing DSH computer use OK read back through document_text. Calculator: UIA element actions produced 1 + 2 = 3 without moving the cursor (Expression is 1 + 2=, Display is 3).
License. MIT. The rest of this README documents the plugin in Chinese.
给 DSH 的模型一套"像人一样看屏幕、点按钮、打字"的工具：按窗口截图、读无障碍元素树、发真实输入事件。适合 Office、Electron 应用、自绘界面这类没有可用 API 的软件。
核心节奏是 观察一次 → 做一步 → 再观察一次，不要凭想象连续操作。
| 工具 | 作用 |
|---|---|
computer_list_windows / computer_list_apps | 列出可操作窗口与有窗口的进程 |
computer_launch_app | 启动应用并拿到它的新窗口 |
computer_get_window_state | 截图（可选无障碍树、文档文本、焦点元素） |
computer_click | 点元素（优先）或点截图坐标 |
computer_type_text / computer_press_key / computer_set_value | 输入文字、快捷键、整段替换输入框 |
computer_scroll / computer_drag | 滚动、拖拽 |
computer_perform_secondary_action | Expand / Collapse / Invoke 等无障碍动作 |
computer_activate_window | 把窗口切到前台 |
PrintWindow 抓窗口自身像素，被遮挡也能拍，不需要先把窗口切到前台。SendInput。screenshot_id 只对最近一次观察有效，坐标动作必须带上 screenshot_id，由 helper 换算成屏幕坐标。cua.ps1 是唯一的进程依赖：插件自己拉起一个长驻 Windows PowerShell 进程（stdin/stdout 走 NDJSON），不经过 pwsh 工具；skills/computer-use/SKILL.md 负责把观察节奏和安全红线讲给模型。| 场景 | 结果 |
|---|---|
| 记事本：截图 | computer_get_window_state 返回 2860×1502 的窗口截图（PrintWindow，被遮挡也可拍），图片直接进入模型上下文 |
| 记事本：输入 | computer_type_text 输入 DSH computer use OK，document_text 读回一致，光标 Line 1, Column 20 |
| 计算器：元素动作 | computer_click 以 [Invoke] 走 UI Automation，One → Plus → Two → Equals，得到 Expression is 1 + 2=、Display is 3，光标未移动 |
| 前台保护 | 目标不在前台时先激活；激活失败直接报错，不会把输入打到别的窗口 |
未覆盖：UWP 的 ApplicationFrameHost 窗口在前台切换上可能不生效；提权窗口受 UIPI 限制；终端类应用按安全边界不自动化。