dsh-handwritten-ocr
适用于 DSH 的本地 OCR：将手写中文和数学公式转换为带 LaTeX 的 Markdown。支持 GPU（DirectML）/ CPU / NPU 后端，由设置驱动，一键安装。
插件会安装到这里；不确定时保持 web。
npx -y @deepseek-ai/dsh plugin --profile web add github:KL3jd/handwritten-ocr#429fdc8950264c87a5c08a05d8e81fb21a33905eHandwritten Ocr 以 dsh-handwritten-ocr 发布，当前版本为 0.1.0。Plugin Hub 会校验它的 manifest，并保存精确安装来源，便于复现安装结果。
本地 OCR 插件：识别手写中文笔记与数学公式图片，输出 Markdown（中文纯文本 + 公式 LaTeX）。 全程本地推理、不联网，图片与数据不出本机。可作为 DSH（或其他 LLM 工具框架）的插件调用。
settings.json，无需改代码ocr_server.py，POST /ocr）+ CLI（ocr_cli.py）dsh-assets/）：LLM 可直接调用 ocr_image 识别图片| 组件 | 用途 | 许可 |
|---|---|---|
| Pix2Text MFD 1.5 | 公式区检测（YOLO） | MIT |
| RapidOCR | 中文文本行识别 | Apache-2.0 |
| UniMERNet | 公式 → LaTeX（手写优先） | MIT |
| Pix2Text MFR 1.5 | 公式 → LaTeX（兜底） | MIT |
powershell -ExecutionPolicy Bypass -File install.ps1
自动完成：建 .venv + 装依赖（清华源优先、失败退官方源）→ 下载模型（hf-mirror）→ 装 DSH 预设。
模型已有可加 -SkipModels。
# 1. Python 3.10 环境
python -m venv .venv
# Windows: .venv\Scripts\activate
# 2. 依赖
pip install -r requirements-gpu.txt
# 3. 下载模型（自动走 hf-mirror 国内镜像，落 models/ocr/）
python scripts/download_models.py
# CLI
python ocr_cli.py 笔记照片.jpg --mode gpu
# HTTP 服务（默认 8765 端口）
python -m uvicorn ocr_server:app --port 8765
# POST /ocr (multipart: file=图片, mode=gpu)
| 键 | 默认 | 说明 |
|---|---|---|
| mode | auto | gpu / npu / cpu / auto |
| formula_backend | auto | unimernet / mfr / auto |
| formula_iou | 0.3 | 文本与公式框去重 IoU |
| mfd_conf | 0.25 | 公式检测置信度 |
| mfd_resized_shape | 768 | 检测输入尺寸 |
| merge_x_iou / merge_y_gap | 0.3 / 24 | 公式碎片合并 |
| crop_pad_ratio | 0.08 | 公式裁剪外扩 |
| crop_min_width / height | 24 / 18 | 裁剪最小尺寸 |
| crop_upscale | 256 | 小图放大阈值 |
环境变量：OCR_PY / OCR_CLI / OCR_MODEL_DIR / OCR_SETTINGS 可覆盖默认路径。
install.ps1 会自动安装预设；手动安装：
Copy-Item dsh-assets\preset-ocr-assistant "C:\Users\$env:USERNAME\.dsh\.agent-presets\ocr-assistant" -Recurse -Force
刷新后出现「OCR 助手」预设，LLM 拥有 ocr_image 工具（识别本地图片 → Markdown）。
若报 python 找不到，设 OCR_PY / OCR_CLI 环境变量后重启 DSH。
bmatrix 输出仍在打磨（当前 MFD 会拆成多个公式框）。