DeepSeek Harness Plugin Hub

发布与管理完整 Harness Profiles,发现适合你的插件。

探索

插件目录环境预设文档中心动态

社区

发布插件联系我们报告问题

相关链接

Plugin Hub GitHubDeepSeek Harness 官方项目系统状态隐私说明
© 2026 DeepSeek Harness Plugin HubPowered byPaxTech

独立、非官方社区项目,与 DeepSeek 官方无隶属、授权或背书关系。

Assistant Evaluation — DeepSeek Harness 插件(DSH Plugin)
DeepSeek Harness Plugin Hub
ProfilesPlugins分类动态文档登录管理 Profiles
ProfilesPlugins分类动态文档登录
← Plugins

@dsh-enhanced/assistant-evaluation

Assistant Evaluation

DSH 个人助理的有界、仅追加的结果评估日志。

插件会安装到这里;不确定时保持 web。

npx -y @deepseek-ai/dsh plugin --profile web add @dsh-enhanced/assistant-evaluation@0.1.32
README兼容性版本

兼容性与来源证明

Assistant Evaluation 以 @dsh-enhanced/assistant-evaluation 发布,当前版本为 0.1.32。Plugin Hub 会校验它的 manifest,并保存精确安装来源,便于复现安装结果。

DSH 兼容范围
*
运行环境
any
发布来源
npm
Registry 更新时间
2026/9/20

版本

0.1.32stable
2026/9/13
0.1.31stable
2026/9/12
0.1.30stable
2026/9/12
查看其余 11 个版本收起版本
0.1.24stable
2026/9/5
0.1.23stable
2026/9/4
0.1.22stable
2026/9/4
0.1.21stable
2026/9/4
0.1.20stable
2026/9/4
0.1.19stable
2026/9/4
0.1.18stable
2026/9/3
0.1.17stable
2026/9/3
0.1.14stable
2026/9/3
0.1.12stable
2026/9/1
0.1.7stable
2026/8/30

相关插件

正在加载相关插件…

最新版
0.1.32
DSH
*
HMR
重启进程
Tree shaking
未声明可安全裁剪
解包体积
1.2 MB
文件数
145
Surface
any
许可证
MIT
发布源
npm
GitHub
★ 2
周下载
267
安全扫描
✓ v0.1.32 扫描通过
最近提交
2026/9/13
查看源码 ↗
README Badge

点击下方 Badge 复制 Markdown,粘贴到 README 即可。

这是你的 Plugin?认领权益 · 优先安全扫描

验证 package.json 声明的 GitHub 仓库,即可管理这个公开页面。认领后,Hub 会优先安排当前版本的安全扫描,并在通过后公开展示结果。

认领这个 Plugin →
报告问题

相关插件

继续浏览 productivity-workflow 分类下经过校验的插件。

Acp App@deepseek-ai/dsh-acp-appdsh ACP 配置文件包:基于 dsh-base 的仅限自动化的 JSON-RPC stdio 和进程生命周期管理Client Ui Task Board@linxin666/dsh-client-ui-task-board面向 DSH Web GUI 的主机权威任务面板,支持实际会话执行、主机 cron 调度以及可选的跨平台空闲睡眠保护;以挂载方式提供,无需修改 DSH 源代码。Web All@linxin666/dsh-web-allDSH Web UI 全家桶聚合插件:一键安装全部功能插件(task-board / git-graph / pet / remote-web-ui / web-ui-settings / skin-center / community-plugins / compat shim)。compat 桥接层已并入本包(src/client),无需独立 compat npm 包。Deepseek Ipptdeepseek-ipptiPolloWork PPT Studio 及其精选幻灯片模板,作为原生 DeepSeek Harness 对话视图。

README

@dsh-enhanced/assistant-evaluation

个人助理的可信自评测账本。它把一次任务的三个事实分开记录:执行是否正常、目标是否达成、结果是否送达;不会再把“Agent loop 正常结束”误当成“用户目标已经完成”。

插件提供本地、追加式 SQLite service,以及两个严格限权的模型工具:evaluation_review 读取当前 Agent 精确 scope 的有界结果,evaluation_self_assess 只能给既有、objective 未知的结果追加一条 self-reported 目标判断。公开 assistantEvaluation.append() 永远拒绝 trusted;可信事实只从 Evaluation 实例为真实 Host producer 建立的进程内私有注册进入,模型和普通调用方都不能创建或升级可信记录。

安装

dsh plugin --profile web add @dsh-enhanced/assistant-evaluation
dsh --profile web --dump-config

默认数据库位于 $DSH_HOME/assistant-evaluation/evaluation.sqlite。

数据模型

OutcomeEnvelope 必须包含:

  • 精确作用域 scope.workspace + scope.preset 和稳定 situation;
  • 相互独立的 executionStatus、objectiveStatus、deliveryStatus;
  • Host producer 的 source、证据等级 trust;
  • 仅含引用的 evidence,不复制原始对话或产物;
  • 有界 JSON metrics,标准整数键为 costUsdMicros、latencyMs、inputTokens、outputTokens、toolCalls、retries;
  • occurredAt、idempotencyKey 和为判断逻辑定版的 evaluator.id/version。

公开 service 接口是:

ctx.assistantEvaluation.append(outcome)
const scope = canonicalEvaluationHostScope({ workspace, preset })
ctx.assistantEvaluation.getTrustedOutcome({ scope, outcomeId })
ctx.assistantEvaluation.appendSelfAssessment({ outcomeId, scope, objectiveStatus, evidence, occurredAt, idempotencyKey, evaluator })
ctx.assistantEvaluation.queryTasks({ scope, situation, limit: 20 })
ctx.assistantEvaluation.query({ scope, situation, limit: 20 })
ctx.assistantEvaluation.summary({ scope, fromOccurredAt, toOccurredAt })
ctx.assistantEvaluation.health()
ctx.assistantEvaluation.limits()

append() 只接受 external 或 self-reported 等低信任输入;传入 trusted 会直接失败。Automations 的 production terminal receipt 与 Delivery 的 exact owner feedback 通过各自 durable outbox 和 Evaluation 私有 producer registration 写入,preview、复制 registration、过期 generation 或公开调用都不能进入可信 lane。相同 idempotencyKey 的完全相同输入安全重放;内容变化会以 idempotency-conflict 失败关闭。

getTrustedOutcome() 是供本地固定 Host runbook 做跨账本投影的精确读取 seam。它要求由 canonicalEvaluationHostScope() 产生的冻结、不可序列化 scope token;缺失、跨 scope 或非 trusted 的记录一律不返回。凭证只包含状态、来源、证据引用和 evaluator,不暴露 metrics、 producer 幂等键或账本写入时间。该读取证明“这条 trusted 判断确实存在”,不会证明关联的 Automation run 属于生产流量;调用方仍必须向 Automations 取得 exact production attribution。

schema v4 保留每条原始 envelope,并另外持久化一个可查询的 task projection。相同精确 scope 内,只有 evidence 中恰好一个唯一 automation-run ref 的记录才会归入同一任务;没有该引用、引用不唯一或旧数据无法确定关联时,每条 outcome 都保持独立,不做相似度猜测。query() 仍返回 append-only 审计记录,queryTasks()、summary() 与模型 evaluation_review 则只按 task projection 计一次。

Automation task 的合并规则固定如下:

  • execution、资源 metrics、任务时间和主要展示记录只取 assistant-automations 的 trusted terminal/Host-runbook producer;owner feedback 不能声称执行成功或替换成本数据;
  • exact assistant-delivery/typed-owner-feedback trusted reply 优先覆盖 objective,并把 delivery 提升为 delivered;没有 owner 判断时,其他 trusted evaluator 高于 terminal 的初始 objective;external/self-reported 永远不能覆盖 trusted Automation task;
  • 多条相同 owner 判断安全折叠;多个 owner objective 互相冲突时,projection 明确进入 objective-conflict、objective 退回 unknown,不会按最后写入者静默选边;
  • 同一来源层级需要选择记录时,先按 recordedAt,再按不可变 outcome id 做确定性 tie-break。owner 冲突检测不受写入顺序影响。

projection 保存选中的 execution/objective/delivery component id,原始两条或多条审计记录不会被改写或删除。schema v3 升级会按上述 exact ref 保守回填;不能证明关联的旧记录继续独立。health() 同时报告 taskProjections 与 conflictedTaskProjections。

appendSelfAssessment() 要求既有 outcomeId 和相同 scope;账本继承原记录的 execution/delivery 状态,只追加 objective 判断与 evidence refs,并强制保存在独立的 self-reported assessment 表。它不会增加任务总数或升级原 outcome 的 trust。模型侧的 evaluation_self_assess 进一步固定 scope、时间、幂等键和 evaluator,只允许选择目标状态并引用最多 10 个实际检索到的 Memory id。

query() 与 queryTasks() 永远要求精确 scope,并对条数、字符串、时间和枚举做边界校验。summary() 只接受不超过 maxSummaryWindowMs 的窗口。evaluation_review 从当前 live Agent 派生 scope,只返回有界 task projection 摘要、脱敏结果、冲突状态和经过 first-party provenance + 格式校验的 Automation run id;不返回 workspace、source id 或任意 evidence ref。已有 trusted owner objective 的 terminal 不再以 unknown 候选出现,直接调用自评 seam 也会再次按 task projection 拒绝它。默认自动 review 会排除 automation:heartbeat:*,避免维护任务递归自评并饿死真实任务;显式 situation 查询仍可审计它们。内置 self-evaluation skill 要求先精确读取 run,再通过 memory_search_confirmed 检索非敏感 owner-confirmed Memory,证据不足时保持 unknown。

配置

键默认值说明
databasePathDSH patch 设置绝对 SQLite 路径;测试可用 :memory:。
maxQueryLimit100Host 单次查询硬上限,最大可配置为 500。
maxReviewOutcomes20模型单次 review 最近结果上限,最大 50。
maxSituationBytes200situation 的 UTF-8 字节上限;200 是 producer 互操作下限,只能上调。
maxMetricsBytes4096canonical metrics JSON 字节上限;256 是 durable producer 互操作下限,只能上调。
maxEvidenceRefs32每条 outcome 的证据引用数上限。
defaultSummaryWindowMs30 天未指定起点时的默认汇总窗口。
maxSummaryWindowMs365 天单次汇总允许的最大窗口。

权限与数据边界

  • 文件系统: 创建数据库父目录并写入本地 SQLite;新数据库目录使用 0700、数据库使用 0600。现有数据库若为符号链接、硬链接、非当前用户所有或对 group/other 开放,会拒绝启动。数据库启用 WAL、synchronous=FULL、迁移版本检查和 5 秒 busy timeout。
  • 网络: 默认 Evaluation 插件无网络访问;显式调用 experimental benchmark SDK 时,模型 delegate 或独立 holdout authority 是否联网由可信 Host/operator 的部署决定,SDK 本身只使用进程内调用或 stdio transport。
  • 子进程: 默认 Evaluation 插件不创建子进程;显式调用 ./benchmark/holdout 的 openHoldoutProvider() 才会启动 operator 指定的 authority executable。
  • 凭据: 默认 Evaluation 插件不读取凭据;holdout provider 只收到 operator 显式给出的精确 environment,不继承 Host 环境,delegate 所需凭据仍由可信 Host 自行装配和撤销。
  • 浏览器: 无。
  • install script: 无;仅有标准 TypeScript build/prepack 和仓库发布保护脚本。

scope、situation、producer/evaluator id、证据引用和指标属于本地评测元数据,可能仍有隐私含义;调用方不应把原始 prompt、secret、消息正文或绝对产物路径放入这些字段。

限制

  • 账本保存“谁以什么证据做了什么判断”,并不把模型自评提升为 ground truth。
  • 自评可以辅助判断 objective,但永远保持 self-reported;插件不自动修改 Memory、Evolution、Automation、代码或权限。
  • scope 路径做绝对路径的语法规范化,不主动访问文件系统解析符号链接。
  • 当前面向单机个人助理,SQLite 依赖仓库兼容基线规定的 Node.js 版本。

配对评测 Host SDK(实验性)

@dsh-enhanced/assistant-evaluation/benchmark 提供 parseBenchmarkPlan、benchmarkPlanDigest、benchmarkSchedule、BenchmarkStore、runBenchmark 和 benchmarkReport。这是可独立导入的 Host 集成入口,不自动启用,也不注册模型工具。它使用单独的 benchmark SQLite 文件,不改变日常任务评价数据库。

计划冻结数据集版本与摘要、逐题输入/验收摘要、模型、prompt、skills、tools、policy 和 runtime 的 SHA-256 配置/内容摘要。模型摘要应覆盖实际 provider、具体模型版本、采样参数和计价配置,不能只记录别名。能力比较要求模型相同;模型比较只能改变模型配置。消融必须与唯一候选保持版本一致,并只关闭记忆、规划、复核或成长中的一项。变体共享完全相同的预算与逐题 seed;执行顺序轮换。seed 记录不意味着模型服务一定支持确定性采样,adapter 必须如实记录提供商能力。

可信 Host 先构造 BenchmarkPlan,创建 new BenchmarkStore(absolutePrivateDatabasePath),再调用 await runBenchmark(store, plan, executor, signal),用 benchmarkReport(plan, store.results(plan.id)) 获取报告,最后关闭 store。executor.execute(request) 必须实际创建隔离且等价的任务环境,按冻结配置调用原生 AgentLoop、限制计量预算、收集 Host 计量、等待资源停止并使用独立 verifier 判定结果。请求只含计划中的任务身份及摘要,输入和答案由可信数据集提供方分别交给执行器与验收器;不得让模型自行填写 observation。控制器对版本/摘要漂移、缺失预算计量、超预算与未停止的执行返回 unknown。

每个 cell 在执行前持久保存运行意图。相同计划可继续尚未开始的 cell,但完成的 cell 不再执行;同 ID 不接受修改后的计划或结果。启动时遇到运行中意图会拒绝,不能因为进程重启就重放可能有副作用的任务。管理员可以用 store.interrupt(planId, timestamp) 将遗留意图记为 interrupted/unknown;这不会停止实际进程,也不会恢复该计划的后续执行。先确认旧执行已停止,再创建新的完整比较计划,不能选择性重跑失败题来提高分数。

超时和取消发出 AbortSignal 后有界返回,迟到结果不能改写账本;unknown 传输或生命周期状态阻止后续 cell。该机制不能强制终止同 UID 任意代码、子进程或远端调用,实际撤销/隔离仍由 Host adapter 和独立 broker 实现。数据库文件要求当前用户拥有、私有权限、非符号链接/硬链接;这不是对同 UID 对手的隔离。

报告保留所有计划 cell 作为已验证成功率分母,unknown 和缺测单列,缺失费用/token/返工/人工介入量不会补成零。提供配对胜负、差值和均值/中位数/P95;区间按任务聚类 bootstrap,同题重复不当作独立任务。任一比较臂有缺测或 unknown 就不报告收益差值与区间,不能把基线的未知结果当作失败来制造增益;单臂有 unknown 也不报告其成功率区间。少于两个任务不提供区间。小样本或同质任务仍不足以证明泛化收益,报告始终 promotionAuthorized: false。

当前完成范围: 冻结协议、持久账本、有界协调器、统计计算、原生 AgentLoop 执行器及 dsh-benchmark 命令。默认 research-v1 保留 8 道公开研究/注入开发题;memory-v2 增加 6 道公开记忆开发题。strategy-v1 增加 4 道公开合成 shell 开发题:整数汇总、接触区间合并、按频次/字典序词频和依赖拓扑排序。它们是开发语料,不是 holdout,也没有真实模型收益证据。

独立留出 provider Host SDK(实验性)

@dsh-enhanced/assistant-evaluation/benchmark/holdout 是 inert Host SDK:导入它不会挂载 Cordis 插件、启动 provider、创建数据库或注册模型工具。普通 runIndependentHoldout() 也只在可信 Host 显式调用时运行。若调用发生在插件生命周期内,应使用 runIndependentHoldoutInContext(ctx, options);它把 benchmark journal、evidence store、authority/delegate session 和取消控制注册为当前 Cordis Fiber 的一个 owned effect。Fiber 卸载会停止新准入、abort 运行、等待有界清理并关闭两个 store;自然完成也会关闭资源并移除该 effect。providerTimeoutMs 为任意 Host provider 的启动、每个请求和关闭设置上限;在 abort 或期限后才解析的 provider 会只做一次有界 close(),不会再请求 manifest 或写入 store。它没有把 ctx.isolate() 当作进程、凭据或数据集隔离。

operator 必须同时固定 { id, version, digest } 数据集 pin 和 Ed25519 authority public key。authority 按顺序返回四类严格 envelope:

  • manifest 签名公开 dataset/case identity 及 input/acceptance commitments;
  • input 签名并绑定 exact manifest、plan、cell、input digest 和本次临时输入 bytes;
  • verdict 签名并绑定 exact input/acceptance/output digest、plan、cell 与判定;
  • finish 签名完整 cell 数和按计划顺序排列的 signed-verdict envelope digest 链。

Host 不接受 authority 自报的资源用量:delegate 必须返回与冻结 variant 一致的版本、Host 侧 metrics、execution evidence digest 和 quiescence,runner 再核对每 cell 预算;墙钟 latency 由 runner 计量。这里的 Host 计量仍是可信同进程 adapter 的自证,不是独立外部 meter。acceptanceDigest 只承诺验收材料没有被事后替换,不加密低熵答案,也不能证明该材料在候选生成前已经冻结。

私有 input 只在当前 delegate 调用期间存在,raw output 只用于本次 verdict 请求;SDK 在结算后尽力清零持有的 byte arrays。Benchmark SQLite、content-addressed evidence 与报告只保存 digests、Host metrics、执行证据引用以及 signed manifest/verdict/finish,不保存 signed input envelope、raw input 或 raw output。这个约束只覆盖 Host SDK 的持久化面,不能证明外部 authority、delegate、模型服务或同 UID 进程没有另行复制数据。

恢复语义保持保守:完整 journal 加不可变 completion marker 可在不启动 authority/delegate 的情况下重验;已有 unknown 直接保持终态。completed prefix、遗留 running intent、缺失/漂移的 finish marker 都在 provider startup 前失败关闭,v1 不选择性续跑。若最后一个 cell 已发布 finish marker、但进程在 SQLite cell 终态提交前崩溃,重启仍看到 running intent;operator 必须先确认旧执行停止,再调用 BenchmarkStore.interrupt() 将其记为 unknown,不能用 marker 自动升级为成功。

内置 provider transport 使用单请求 NDJSON、固定 cwd: /、完全显式的 child environment、长度/时间上限和 TERM→KILL 有界关闭。POSIX 关闭同时等待 leader/stdio 关闭和当前数值进程组消失,Windows 只管理直接 child 与其 stdio;继承管道仍未关闭时会有界报 termination-unconfirmed。普通 PID/PGID 信号不能约束脱离进程组的后代,也不能排除数值复用导致误发信号,因而不是无竞态进程身份或强 OS containment 证明。executable 只做绝对 canonical pathname 校验,没有 fd/inode 绑定,因此 pathname 在校验与 spawn 之间被替换不在当前保证内。现有真实子进程回归使用同 UID synthetic authority fixture;它验证 transport、签名链、无 raw I/O 持久化、零-spawn 重验和 fail-closed 恢复,不证明独立账号/机器/UID 部署、历史冻结透明度或真实隐藏性。目前也没有真实模型、真实独立 holdout 或 live benefit 证据,WP04 继续为实现中。

原生策略比较的 Host 接口

strategy-v1 已由 dsh-benchmark corpus|doctor|plan|run|report 支持。它冻结 direct 和 adaptive-strategy 两分支、策略执行限额、已安装能力来源与任务/验收摘要;每个 cell 在私有 state 目录保存可重读的详细观察和摘要。模型只能收到公开 objective、提示和示例;独立 verifier 的向量不进入 prompt。

parseStrategyBenchmarkPlan 固定两个分支 direct / adaptive-strategy、共同预算、模型调用上限、单次输出和原生 Goal 轮数。共同 persona/工具/Policy/runtime 与策略 guide/tool/Policy/runtime 分别声明摘要,并派生两分支版本;任意额外版本差异会被拒绝。parser 验证声明一致,实际 executor 另外核对挂载的能力。strategyBenchmarkJournalPlan 将完整策略契约绑定到既有 journal,修改限额不能复用旧计划 ID。调用 installStrategyBenchmarkRequestMeter 会先核对 exact cell/计划/模型,再安装外层限额;executor 将同一 maxGoalRounds 交给真实 Goal。

计量器必须在首次入站前安装在专用 Context,覆盖前台、父 Goal 和 child 的全部 llm/stream 与工具执行。仅接受可信输入上界和供应商输出上限;estimate/observed 配置显式拒绝。模型流在 dispatch 前共享原子预留,结束后根据完整 usage 结算;取消、缺 usage、异常和提前关闭保留预留,assertComplete() 拒绝未结清、空测量或尚在运行的工具。费用为 null 时只约束 token,不声称金额硬限。快照是进程内观察;executor 将它与计划/cell 绑定、持久保存,并与独立验收和资源停止证据核对。取得下游迭代器的 dispatched 不是实际付费 HTTP 证明。

createBenchmarkStrategyOwnerRuntime 要求全新 Context、两个现存且独立的 canonical 私有目录:候选 workspace 和其外部 stateRoot。它在 stateRoot 独占创建 runtimeRoot,写入 JSONL Session、Delivery/Policy SQLite 及 spool;显式保存空会话头,使原生 Delivery 创建后可以真实恢复。它只配对本地合成 owner、注册本地回复捕获通道;该身份只用于评估,不是对任何真实用户/外部服务的授权,不发现或修改用户 profile,也不发外部通知。只暴露指定工具 allow-list,额外 Policy 规则由可信 Host 提供。模型 adapter 则拥有操作者声明的网络/凭据权限,由调用者安装和销毁。

executor 在实际每个父请求上比较完整 persona、每个实际工具 schema,并通过 assistantPolicy.inspectHostConfiguration() 比较完整 Policy 配置;同时记录已解析安装源码的身份摘要。该检查发现计划与运行时的普通漂移,但不构成对同进程恶意 Host 代码或远端 provider 实现的形式证明。全流程 deadline 覆盖装配、调用、验证和关闭;不能证明停止、usage 或证据完整性时结果保持 unknown,不会重放 cell 或启动后续 cell。

开发集命令

dsh-benchmark doctor
dsh-benchmark corpus
dsh-benchmark doctor --suite memory-v2
dsh-benchmark corpus --suite memory-v2
dsh-benchmark corpus --suite strategy-v1
dsh-benchmark doctor --suite strategy-v1 --config ./docs/examples/strategy-benchmark.config.json
dsh-benchmark plan --config ./docs/examples/strategy-benchmark.config.json --output ./private/strategy-plan.json
dsh-benchmark run --config ./docs/examples/strategy-benchmark.config.json --adapter /absolute/trusted-adapter.mjs --database ./private/strategy.sqlite --output ./private/strategy-report.json
dsh-benchmark report --database ./private/strategy.sqlite --plan strategy-public-development --config ./docs/examples/strategy-benchmark.config.json --output ./private/strategy-report-copy.json

doctor --suite strategy-v1 --config 会在不安装依赖、不拉取镜像的前提下检查 Host packages,并执行有界的离线 Docker/image probe;ready 不证明模型凭据或 provider 可用。plan 不调用模型。run 只装载操作者指定的 trusted adapter,费用和 token 限额来自配置;adapter 入口的 SHA-256 必须同时匹配 adapterDigest 与 tokenCounterDigest。策略 suite 固定 inputLimitMode: "upper-bound" 和 outputLimitMode: "provider";现有 Codex 订阅 adapter 的 estimate/observed 模式不兼容策略运行。report 重新打开已保存的 cell 观察和摘要,并从 --config 重建当前 plan 进行比对;它不重新激活已关闭 runtime 或重放模型调用。

配置示例、计量协议和限制见 评测实施文档。预算为每 cell 上限;金额单位为美元的百万分之一,计价为每百万 tokens 对应的该单位。costUsdMicros: null 明确选择仅 token 预算,模型输入/输出价格也可同时为 null;报告中的未知费用不会填成零。声明金额上限时必须提供非缓存输入、cache read、cache write、输出四类费率,且必须使用输入上界和提供商输出上限;输入预留采用三类输入的最高费率。DSH 的非缓存 input 与两类 cache 相加为实际输入,reasoning 已包含在 output 中,不重复计费。实际使用了缺价的 cache 时,费用保持 null。可信适配器须关闭隐藏自动重试。

非策略原生 suite 仍可使用 estimate/observed 的 token-only 配置;这不扩展到 strategy-v1。策略运行创建私有 workspace/state 根并持久化证据,日常 profile 不会安装、启用或加载这些可选 Host peers。

命令使用网络/凭据的权限由可信模型适配器决定;自身读取配置和模块,写独立私有 SQLite 与独占新建的 JSON 报告,创建并清理临时工作目录,不安装提供商、不修改日常 profile。报告不包含模型原始答案,判定绑定答案哈希与开发集验收摘要。split: holdout 只声明用途,同 UID 文件或公开仓库中的题目/答案不属于安全隐藏留出。

兼容性

Goals 的独立 Verifier v2 回执使用 goal-step 任务身份,按 goal:<goal-id>:definition:<version> 归因;同一 ref 的前台或 Automation 任务不会与之合并。schema 10 迁移保留既有投影、证据与视图。原有 owner 反馈修订入口仍只支持前台和 Automation,目标步骤成功也不自动宣告整个长期目标完成。

对齐仓库的 DSH / Cordis 兼容性基线。Host 提供 Cordis、Agent 和 ToolRuntime;插件自身携带 Schemastery。

Host 可通过 getTrustedAutomationRunLearningProjection({ scope, runId }) 精确读取一个 run 的 ready canonical learning projection,无需扫描受 limit 限制的原始 audit 列表。不存在或 objective-conflict 时不返回证明;返回值沿用同一 canonical projection、revision、digest 和 scope watermark。调用方须检查 disposition 和执行/目标状态,并在产生依赖该证据的写入时使用 withTrustedLearningWriterFence。

withTrustedCanonicalLearningWriterFence 为依赖 Evaluation canonical 状态本身的 Host 写入提供同样的 scope watermark、精确 task tuple 和同步写锁校验,但不要求投递给 Evolution 的 outbox 已完成。withTrustedLearningWriterFence 继续为 Evolution 依赖方保留 projection-pending gate;两者都不会代替或伪造 outbox 投递。

getTrustedGoalOutcomeLearningProjection({ scope, assessmentId }) 是 whole-goal 消费者的 Host-only 精确读取入口。它只接受 canonicalEvaluationHostScope() 产生的 token,并且只查询相同 canonical workspace/preset 下 subject 恰为 goal-outcome/<assessmentId> 的当前 projection;缺失或跨 scope 返回 undefined。返回的 version、digest、disposition 与 scope watermark 是 Evaluation 当前状态,不把原始 immutable Verifier receipt 永久视为事实。该入口只证明 assessment 的 canonical 状态;owner、Goal、Session、run 和 outcome profile 的关联仍须由调用方从 Goals 的当前 Host snapshot 独立证明。

withTrustedCanonicalTaskWriterFence({ scope, scopeWatermark, evidence }, callback) 是对应的同步 commit fence。它逐项核对 exact subject kind/ref、revision、digest 和 upsert | retract disposition,并在 Evaluation writer lock 持有期间执行同步 callback;scope 内任何任务推进 watermark,或该 assessment 被纠正、撤回、替换,都会在 callback 运行前返回 evidence-changed / watermark-changed。它不等待可选 Evolution projection outbox,因此可让下游在 exact retract 下原子移除旧观察;异步 callback 会失败并回滚。原 withTrustedCanonicalLearningWriterFence 继续只接受可推广的 upsert,其契约不被放宽。

Owner outcome revisions

Delivery's authenticated capability can explicitly correct or withdraw one exact delivered result. Schema 8 retains immutable raw outcomes, linked owner revisions, provider command receipts (including rejected CAS attempts), and a single canonical task projection. Owner lanes include principal record id and version. Only explicitly linked predecessors are superseded; independent contradictory owner evidence stays quarantined. Withdrawal is an authoritative unknown tombstone, so earlier terminal/evaluator success cannot reappear. The revision, digest, audit and projection outbox commit in the same SQLite transaction.

Legacy schema 7 owner rows are adopted lazily through the exact Host delivery capability and stable initial idempotency key. Adoption verifies the run and Outbox references without rewriting raw history. Host consumers receive revision notifications and must also revalidate durable proof on startup / dispatch; a failed listener cannot prevent other consumers or the projection outbox from progressing.

整体目标的独立 v3 回执使用 goal-outcome/<assessmentId> subject,与同 ref 的步骤、前台和 Automation 分离,仍按完整目标定义归因。schema 11 在事务内迁移旧 task projections 并保留历史。Delivery v2 producer 可携带 current Goals process-local capability,把 exact whole-goal Verifier receipt 惰性采纳为 owner revision 1;Evaluation 不信任 Delivery metadata,而会通过当前 Goals provider 重建 proof,并从当前 Verifier inspectAcceptedTask() 独立核对 owner/scope、Goal definition、Session/native Goal、assessment、run、profile、contract、receipt 及 digest。provider generation、capability 或任一绑定变化时 fail closed。

同一 goal-outcome/<assessmentId> 随后使用既有 owner CAS 协议:correct 必须匹配当前 version 与 previous status,withdraw 写入 canonical unknown retract tombstone,重复命令幂等,乱序或同版本冲突保留拒绝审计而不覆盖 current projection。baseline adoption 在一个事务中把 exact immutable Verifier outcome 认领为 revision 1;如果 Evaluation 在原 receipt 产生时离线且恢复前 receipt 已过期,则只在当前 Goals opaque proof、当前 Verifier 原始 service identity/generation 以及 exact contract/receipt/execution 全部重验后,同构补写原 assistant-verifier:<receiptId> outcome、projection、outbox、watermark 与 revision 1,不续期、改写或伪造 receipt。后续每次 correction/retract 的新 owner revision、task projection、scope watermark 和 projection outbox 在一个 Evaluation SQLite writer transaction 中提交。因此 Skills 的 exact canonical monitor 会看到 v2 correction/retract,而不会把原始 immutable receipt 永久当作 achieved。历史回执可以在有效期后接受 owner 标注,但每次 issue/inspect/append 都必须由当前 Goals/Verifier 重验其不可变身份;这不是放宽发送前 freshness。

仓库回归使用本地 Delivery/Goals/Verifier/Evaluation fixture 验证上述 Host 协议;没有连接真实 Lark、真实模型或生产 deployment cohort,不能写成真实渠道验收或长期收益。

memory-v1 保留首轮公开试验的原始题目与判定,可按原计划复现。memory-v2 是单独版本,明确当前资料 ID、Memory provenance URI 与 claim:<key> 的引用约定;改进题目说明后必须建立新计划,不会重写 v1 的失败结果。

策略 Host 接口新增 createStrategyGoalRuntime、strategyGoalTaskDigests 和 StrategyEvidenceStore。单 cell 真实装配原生 Goal/driver/subagents、Goals、Delivery、Isolation 与 Verifier;模型通过真实工具创建目标并导出隔离产物,独立验证向后续轮次提供反馈。运行结束后读取当前 owner 路由授权的持久目标快照,等待资源清理成功,再保存内容寻址的私有证据;证据包含每轮 step/outcome 的独立回执、真实 triggerRunId、策略子会话和外层计量,读取时重验 plan/cell/digest。清理超时保留 unknown,不能据此重放或启动下一 cell。

此接口运行本机 Docker 和离线任意候选 shell:输入复制入容器,验证向量只供独立 runner,Host 持久状态保存在候选工作区之外。调用方必须提供受信任 adapter factory、已有私有目录、固定本机镜像及明确限额;不查找或修改用户 profile,不发送真实渠道消息。execute/close 清理有等待上限,但不合作资源可能仍未停止。adapter factory 与初始装配仍由调用方的整体期限控制,不能把本接口计量窗口视为完整比较墙钟期限。目录权限不隔离同 UID 的可信 Host 代码。

策略 executor 会核对实际挂载工具、完整 persona、完整 Policy 配置、运行时来源和 adapter;这些观察连同全流程故障证据写入 journal 外的私有证据目录。普通 Evaluation bundle 不自动激活上述可选 Host peers,且尚无真实模型收益结论。

DeepSeek strategy adapter

The optional ./benchmark/deepseek export supplies the trusted createNativeAdapter entry for strategy-v1. Explicitly install the matching assistant-deepseek-budget Host peer and provide the DEEPSEEK_API_KEY credential reference in the current credentials service or process environment. The factory registers no services or profile configuration; disposal shuts down its adapter. It uses the existing fixed HTTPS production transport and sends public task context and tool messages to that provider. No subprocess, credential file scan, model-generated adapter or automatic retry is added.

The input reserve is the production contract's conservative 2,097,152-token upper bound per request; prices remain unknown. Use the DeepSeek example and instructions, rather than the small generic fixture budget. Source commitments include the selected DeepSeek and credentials packages. Runtime readiness, online model access and measured strategy benefit remain separate evidence.