4.6 KiB
Cua 验证记录
候选阶段记录
以下记录对应市场替换前的候选测试。适配版本 0.1.2；上游 Cua Driver 0.36.0（预发布），仅 Windows x64。默认模型和默认插件保持原样。
端到端联调还发现 ARTEMIS SDK 配置构造遗漏 recording，导致任务指定窗口录制却使用默认屏幕录制。主项目已补传该配置，覆盖从任务默认值、SDK Builder 到 PluginRecordings 的回归；新工作进程实际录像索引已确认 scope=window。早期屏幕录像只保留在本机，测量报告披露各次实际录制范围，不混同为统一录制条件。
已验证：
- 11 个工具符合 ARTEMIS schema 2 清单，命名、只读声明与窗口参数匹配。
- HWND/PID 与物理窗口边界核对、真实窗口截图、动作后新 snapshot/token。
- 独立窗口确认点击实际到达；表单值与勾选状态正确，蓝色小目标命中，滚动到末尾后完成。
- 后台滚动的明确预检拒绝与前台执行区分；未自动重试写操作。
- 新 PNG 保存到 trace，读回 SHA256 校验，附件被证据索引接收；拒绝覆盖已有文件与路径逃逸。
- 使用 ARTEMIS 原有录像管理器录制 PC 窗口，H.264 文件确实生成；关闭会话后候选适配器、Driver 和 UIA 子进程均退出。
- Go 回归覆盖动作回执、未知结果、拒绝、参数边界与两种点击路径互斥；Python 工具经过 Ruff 检查。
联调发现并修正：0.1.0 同一点击工具允许控件与像素参数，模型混填导致上游拒绝；0.1.1 拆分 click 与 click_at。0.1.2 补充上游 Windows 类级 background_unavailable 的未执行回执；带 actuator cause 的失败仍保留不确定状态。
实际 A/B 数据由 tests/benchmark_plugins.py 和 tests/summarize_benchmark.py 生成，保存于本机 artifacts/。测试使用独立窗口、固定任务和统一调度，比较表单、34 像素视觉目标、滚动及截图留档；不能由这些小样本外推浏览器、所有 DPI、真实路由器或长程任务的成功率。模型无工具调用、兜底模型与网关缓存情况必须随数据披露。
2026-10-17 完成一个复合用例各 3 次：Flash，主模型 mimo-v2.6-flash/high，保留 gpt-6-luna 兜底，480 秒任务时限。对照为当前 OCU 1.1.0 适配包。独立窗口事件判定结果如下（token 包含执行、摘要、压缩与最终核验）：
| 指标 | OCU 1.1.0 | Cua 0.1.2 |
|---|---|---|
| 全部动作与截图独立验收 | 0/3 | 3/3 |
| 蓝色目标恰好命中一次、没有误点 | 3/3 | 3/3 |
| 平均总 token | 683,748 | 504,954 |
| 缓存输入 / 总输入 | 51.0% | 49.7% |
| 平均任务结束/停止耗时 | 478.8 秒（超时） | 303.2 秒 |
| 平均插件调用耗时合计 | 32.2 秒 | 5.2 秒 |
OCU 在滚动回退中漏传 WindowBounds，导致反复报坐标不可用；此为对照版本的具体缺陷，本次未中途修改。Cua 第一轮有一次旧 token 拒绝，刷新后成功。两者的小目标点击均成功，不能据此宣称 Cua 普遍点击更准。Cua 的 token 少 26.1% 是本轮观察值，包含旧插件失败重试开销，不是所有成功任务的固定节省。
Cua 第三轮虽然独立验收通过，ARTEMIS 最终核验却没有生成结论，保留 inconclusive；AI 裁定实际为 2 次通过、1 次未判定。三次截图均可解码、SHA256 与保存回执一致；最后一轮窗口录像全片解码通过，约 173 秒、5.8 MiB。测试结束后队列空闲，候选适配器、Driver、UIA helper 和测试窗口进程均已退出。
主项目 SDK 配置修复通过默认回归 2761 项（2 项跳过、8 项未选中），Ruff、质量基线和核心类型检查通过。候选继续仅在非默认测试配置启用；没有修改市场索引。录像范围的中途修复、模型兜底以及最终核验延迟均在本地报告中保留，不将本次开发测试包装为严格受控的性能实验。
未验证：真实业务跨端长程任务、Chrome/Brave 特定页面、多个 DPI/显示器、非 Windows 平台、DOM 路由。这些未测范围仍不作稳定性保证；市场替换决定见下一节。
市场替换版本 0.36.0
0.36.0 沿用 0.1.2 已测驱动和动作实现，仅更新发行版本、名称及文档，作为市场默认电脑控制插件取代 OCU。上游仍固定 0.36.0 预发布版，市场继续标注开发预览；上文的未测范围和 AI 裁定缺失情况仍然有效。旧 OCU 从 catalog.json 下架，既有源码、发行附件和任务证据保留。已安装 OCU 的用户应安装并启用 Cua，再停用 OCU；不会静默为其他用户授权新代码。