feat: add gesture sequences and calibrated pixel drags

This commit is contained in:
chenmingxuan committed 2026-11-02 11:53:27 +08:00
1 parent 2a3bbaa3fb
commit 479a185192
31 files changed
+2440 -44

No files matched your search

+16
View File
@@ -54,6 +54,22 @@ mobile_run_task(
- `completed/failed/cancelled/interrupted/skipped` 为执行终态;检查 test_result 再说明通过、失败、未验证或阻塞。人工判定附来源和原 AI 判定,不改写原始证据。
- 实际耗时受模型、网络及设备影响,不能固定扣减 5/30 秒当作精确等待。最终外部测试脚本应使用明确等待条件。
## 短时控件与精确拖动
Flash 与普通 Pro 共用原生 `action_sequence` 和 `drag` 动作。外层 MCP 仍通过
`mobile_run_task` 提交任务;在任务目标中说明短时控件、已观察布局、目标刻度和验收标准,
不需要切换探索或通过外部 ADB 脚本绕开队列。
- `action_sequence(steps=[...])` 在一次调用内按序执行 click、wait、drag,不在成员之间
截图或请求模型。沿用 `pro.execution.max_burst_actions` 的连续动作数量限制(默认 4)。
先验证整组参数,失败后停止剩余成员;检查 `sequence_results`,不要重发已完成输入。
- `drag` 接受 start、end、coordinate_space(normalized 或当前截图的 pixel)、
duration_ms(默认 300)及 target_description。pixel 避免细刻度被整数归一化坐标量化。
- 可用 calibration 替代 end:axis、mode(thumb/pan)、两个 anchors(position/value)、
target_value;pan 还要提供固定指针 indicator_position。各值必须来自当前缩放下的真实观察,
使用同一数值单位。工具返回计算出的端点、比例和量化误差,未自动识别当前选中值。
- 拖动成功只表示派发成功。对照动作后同名刻度或选中值再判断;不得自动过冲或把慢拖当作精准。
## 安卓文件
任务内部支持 `android_file`,外层以任务目标交给 ARTEMIS,文件操作也走队列。截图原生 PNG 默认留存任务 trace;明确要求桌面时额外复制并校验,不需电脑插件。读写文本、列目录、pull/push 使用目标 Android 路径及任务文件边界,不能绕过应用私有目录权限。已有文件默认不覆盖。只有工具返回实际路径及校验结果才说明保存成功;「全部资料」导出包含任务文件。