dsh-quality-lens
为每个 DeepSeek Harness 回答做质量与话题关联体检，并给出可复制的提示词改进建议。只观测不改写，默认本地评分，可选 Jev 精评。
插件会安装到这里；不确定时保持 web。
npx -y @deepseek-ai/dsh plugin --profile web add github:lishinho/dsh-quality-lens#ebb7b1ec428ec88d4543d00e3a66702f870e71da
Quality Lens 以 dsh-quality-lens 发布，当前版本为 0.1.2。Plugin Hub 会校验它的 manifest，并保存精确安装来源，便于复现安装结果。
给每个 AI 回答做一次体检：动作行显示 质量分 + 话题关联度，点开是带证据的质检报告。 更重要的是——它把「回答哪里弱」翻译成 下次怎么问，每条建议都能一键复制成更好的 prompt。 只观测，不改写：不 steer、不重写、不打断流式输出。
报告底部的「提示词调优」会根据回答的短板反推提问方式：
每条建议都带一段可直接复制的改写提问（保留原问题，只追加要求），点「复制改写」就能拿去下一轮。
◆ 质量 90 · 关联 100%，无分不渲染、不占位、不抖动；score / noul 问题拿回带置信度的判定，失败自动回退本地分，不阻塞 UI。| 自动评审 + 重写类插件 | 模型质量雷达 | |
|---|---|---|
| 对答案的影响 | 低于阈值就让模型重写，改变你看到的输出 | 不改写，只在回答落盘后分析 |
| 成本 | 每轮至少一次评审模型调用 | 默认本地 0 token；Jev 按需 |
| 额外收益 | 只告诉你分数 | 分数 + 证据 + 可复制的提示词改进 |
| 适用场景 | 追求"自动改到好" | 追求"看清问题、下次问得更好" |
以下为交互原型截图（和插件共用同一套评分引擎与布局），实际安装后动作行 Chip 与报告面板一致。
| 动作行 Chip | 追问场景：含上下文 |
|---|---|
| 动作行 | 追问 |
报告面板：五维、话题关联、证据、提示词调优（可复制改写）：
分享卡为规划中的设计，当前插件版本以动作行 + 报告为主。
只想先点一点看效果？打开自包含原型 prototype/index.html（双击即可，离线、不联网）。
桌面端（本地目录）
package.json）；GitHub / npm
dsh plugin --profile web add github:lishinho/dsh-quality-lens
dsh plugin --profile web add dsh-quality-lens
预构建 tarball（无需构建）
dsh plugin --profile web add https://github.com/lishinho/dsh-quality-lens/releases/latest/download/dsh-quality-lens.tgz
本地打包：pnpm pack → dsh plugin add ./dsh-quality-lens-0.1.0.tgz
安装后发一条 ≥80 字的回答，动作行会出现 Chip；确认 / 寒暄类消息（「可以了 我试试」）不会评分。
总分 = 25% 相关性 + 20% 完整性 + 20% 可信度 + 15% 清晰度 + 20% 可执行性。
覆盖 3/3 · 无偏离，追问时显示 含上下文 xx%；规则、标签、阈值都在 lib/scoring.js，可读可改；lib/client.js 只负责渲染。
- id: quality-lens
config:
engine: jev # labels（默认）| heuristic | jev
jev:
provider: openrouter # typesafe | openrouter | custom
apiKeyEnv: OPENROUTER_API_KEY
timeoutMs: 4000
score + 绝对化/拒答/跑题 noul + 每个子意图一个覆盖 noul；技术细节见 标签评分与 Jev 方案。
node scripts/extract-samples.mjs --limit 20 # 从本机会话抽问答（只读本地）
node scripts/make-labeling-page.mjs # 生成离线标注页
open calibration/labeling.html # 1-5 星打分，导出 labels.jsonl
node scripts/apply-labels.mjs --labels calibration/labels.jsonl
node scripts/calibrate.mjs --in calibration/samples.labeled.jsonl
输出 MAE / RMSE / Spearman / 档位一致率 / 偏差最大的样本。目标 MAE ≤ 8。
校准集默认在 calibration/，已 gitignore，不会上传。
$DSH_HOME/quality-lens/reports.jsonl，删目录即清空；npm_ / ghp_ / sk- 等）会自动打码；旧报告在加载时也会被清洗。node --test test/scoring.test.mjs test/host.test.mjs test/client-bundle.test.mjs test/labels-jev.test.mjs # 33 tests
node scripts/demo.mjs # 打印样本评分
node prototype/build.mjs # 重建自包含原型
lib/scoring.js — 规则 + 标签引擎 + 提示词调优（纯函数）lib/jev.js — Jev 请求构造 / 校验 / 降级lib/host.js — 会话事件、上下文、存储、路由lib/client.js — 手写 lazy-CJS 浏览器 bundle（无构建步骤）docs/ — 技术方案与上架文案如果它帮到了你，可以请我喝杯咖啡，或关注公众号领取《模型质量周报》。不打赏、不关注也能完整使用。
| 微信赞赏 | 支付宝 | 公众号 |
|---|---|---|
| 微信赞赏 | 支付宝 | 公众号 |
公众号：lishinho技术杂货铺（回复「质量」领取周报与评分模板）。
MIT