feat: add Windows computer-use plugin adapter and validation tools

This commit is contained in:
chenmingxuan committed 2026-10-14 19:38:37 +08:00
1 parent 6431b68d5b
commit 254ce4ffb3
11 files changed
+700 -2

No files matched your search

+30
View File
@@ -0,0 +1,30 @@
# 电脑插件验证记录
状态:开发验证中,不加入市场索引。
环境:Windows x64、ARTEMIS 2.0.0 开发分支;固定上游 `open-computer-use@1.1.0` 与源码提交 `7d8cb3fa5618d1ed8ec71773434ac3677f1922c9`,插件版本 `1.0.0`,内置 Windows 运行时标记 `1.1.0-artemis.1`。验证日期 2026-10-14。
已完成:
- 从固定源码应用适配后编译插件 ZIP,通过 Go 测试,保留完整源码、上游许可证、来源和完整性信息。
- 在隔离 ARTEMIS 插件目录安装、配置、启用,经真实 stdio MCP 握手枚举 9 个工具,结束后关闭进程。
- 通过独立 WinForms 测试窗口取得窗口树和截图,实际输入中文。
- 两个临时窗口实测:目标被遮挡时截图仍来自目标窗口,未混入遮挡窗口像素;UIA 坐标与截图对应,点击真实子控件后触发了预期事件。
- 独立 Chrome 临时配置实测:通过 MCP 观察表单、填写中文参数、提交一次、在本地服务收到值并从界面重新读回。
- `gpt-6-luna / high` 真实模型完整任务:Flash 约 57 秒,Pro 约 112 秒;均完成中文输入、点击按钮、重新观察,实际控件值一致,最终用例结果为通过。两次为基本联调样本,不代表长期稳定性统计。
- 真实 Pro 任务导出:5 个步骤、11 条插件观察/操作记录、14 项截图引用;Word 与 Excel 保留插件来源、版本及结果。
- 最小化窗口时不返回可用截图,并对坐标操作报错。
- ARTEMIS 插件页面实测本地导入的进度、完成状态及配置表单。
实测发现并已修正:
- 上游区域截屏会混入其他窗口:适配为目标窗口 `PrintWindow`,失败/均匀空白画面不回退区域截屏。
- 主窗口收到鼠标消息但子按钮不执行:按目标窗口内部子控件路由消息,截图与输入使用同一 DPI 上下文。
- 模型尝试 Windows 不支持的点击方式:清单只声明 `auto`、`accessibility`、`app_post`。
- ARTEMIS 记录资源集合无法序列化、Pro 初始文字观察附带空图片、历史接口丢弃插件来源字段:已修复并追加回归。
仍有限制:部分 WinForms 可访问性控件会退化为 pane,`set_value` 可能不可用;需要改用当前截图坐标或其他实际可用操作,并再次观察确认。`PrintWindow` 并非所有应用都支持;当前只验证本机缩放,未覆盖多 DPI、多显示器、长时间运行及复杂 Web 控制台。
尚未完成:电脑修改参数 → 手机验证 → 恢复环境 → 报告导出的真实跨端验收,以及真实任务的批次、暂停恢复、指导组合验证。市场索引仍为空,不能将上述基础联调当作完整发布验收。
这些结果不代表插件已通过市场验收。后续修正应再次核验真实效果,不能仅以工具 `success` 或单元测试通过判定业务通过。