chenmingxuan
889a951c9b
Correct native scroll scaling, reject stale or out-of-bounds pixel targets, and scope DPI awareness to geometry reads. Package adapter 0.36.0+artemis.3 and document the high-effort cross-device verification. Validation: Go tests and vet, packaged MCP schema and handshake, Python checks, and user-run high-effort task completed with a passed verdict and explicit coverage limits.
2.5 KiB
Cua 电脑控制 0.36.0+artemis.3
作为 ARTEMIS 插件市场的默认电脑控制实现，替代已下架的 Open Computer Use。此修订修复缩放截图后的滚动坐标转换，加入截图编号及范围校验，保留上一修订的键盘参数修复；上游仍是固定的 Cua Driver 0.36.0 预发布版，市场标注开发预览。
本修订：上游 Windows 0.36.0 的滚动路径没有应用截图缩放比，适配器现按实际原始截图尺寸转换；每次滚动前仅内部读取原始截图（不读取 UIA、不发送给模型、不增加模型调用），避免推算 DPI 或假定固定裁边。点击和拖拽继续由上游转换，避免重复缩放。所有像素操作要求最新 capture_id，过期、越界或窗口移动/缩放时拒绝派发。截图编号和尺寸置于文字结果开头，避免被长控件树挤出上下文。Windows 几何读取在锁定 OS 线程后设置并还原 DPI 上下文。
上一修订内容：press_key / type_text 只对目标窗口的当前焦点操作，不再暴露互斥的 element_token/x/y 参数；聚焦使用独立点击工具，控件赋值由必填 element_token 的 set_value 完成。scroll 仅按截图坐标定位滚动区域。旧格式在适配层返回明确未执行回执，不发送输入、不重新截图。补充浏览器前台输入与滚动后点击规则，不自动重试结果不确定的写操作。保留上一修订的应用名发现和无效 PID 修复。
上游提交：6d6c734c127025fb39ad5d585a10382808b39dc1。Windows x64 原始 ZIP SHA256：f8c47024b626f4e0e70f8428d2998df39e4879110c5722a29d5fd03e367353ad。采用 MIT Driver，许可证随包提供；不包含 Cua Spaces、云环境或模型服务。
提供 11 个窗口观察、控件/像素点击、输入、按键、拖动、滚动及截图工具。操作后返回真实窗口观察，保留动作回执，截图校验 PID/HWND 与物理边界，生成文件保存到当前任务 trace。共享 ARTEMIS 的 desktop:local 资源、任务固定版本、步骤和录像，不另建调度器。
适配器与依赖随包分发，无需额外安装 Go、Python、Node 或另一份 Codex MCP。关闭、取消或宿主退出后通过 Windows Job Object 回收 Driver/UIA 子进程；仅在该子进程环境关闭遥测。
升级：任务结束后，在插件页面安装并授权启用 Cua，再停用 OCU。下架不删除旧包、历史报告或用户配置，不自动替其他用户授权。完整实测结果与尚未验证的范围见 VERIFICATION.md。