fix: prepare transient controls inside native action sequences
This commit is contained in:
1 parent
00e62a663a
commit
4879adc380
16 files changed
+417
-31
No files matched your search
@@ -27,6 +27,13 @@ Flash 和 Pro 都支持任务内的安卓文件工具 `android_file`:保存原
|
||||
## 短时安卓控件与精确拖动
|
||||
|
||||
Flash 和普通 Pro 都支持任务内原生 `action_sequence` 与 `drag`,外层 MCP 工具不变。
|
||||
这是通用的安卓短动作组合器,不限于时间轴。短时面板每次操作优先使用 `[ensure_visible, click/drag]`:
|
||||
AI 指定已观察到的面板内 target、入口 opener 资源 ID 和 target_description,工具现场判断是否已经显示;
|
||||
需要时只点击入口一次,并在本机等目标出现(timeout_ms 默认 1500,上限 3000),再执行后续成员。
|
||||
已显示时跳过打开,缺失、不唯一、层级不可用或超时则停止并保留回执,不重试已输入的动作。
|
||||
它只准备界面,不用于业务提交;无原生 ID 时仍可组合已观察坐标的 click/wait/drag。
|
||||
序列与校准拖动沿用小型动作的 16,384 字符参数流保护:异常膨胀时在执行前断流,
|
||||
丢弃不完整参数,按已有的无效输出策略有限重试,不把截断内容派发到设备。
|
||||
任务可以要求“先观察缩放弹层的真实滑块位置,恢复同布局后用一个连续动作打开、等待、拖动,
|
||||
再检查刻度是否改变”。动作之间不再等待下一轮模型,适用于数秒后消失的控件。
|
||||
序列使用 `pro.execution.max_burst_actions` 的数量限制(默认 4,等待也算一项),
|
||||
@@ -40,7 +47,7 @@ click 的 times 支持 1–10 次连点,delay_ms 默认 100;连点仍占一
|
||||
避免多轮稳定截图将短时面板消失后的画面覆盖为唯一证据;即时截图的稳定状态为未知,不能据此宣称画面已稳定。
|
||||
普通 Pro 同样在完整连续组结束后保存截图,供立即进行的检查点验收使用;即使图片哈希与操作前相同,
|
||||
也保留这次真实采集对应的动作后证据,不将图片去重当作没有采集。
|
||||
元素列表中的真实 `resource_id` 可用于 click 的 `unless_visible`(面板已显示时跳过打开按钮)
|
||||
元素列表中的真实 `resource_id` 可用于 click 的 `unless_visible`(面板已显示时跳过打开按钮,不能加在实际操作按钮上)
|
||||
及 drag 的 `require_visible`(面板消失时不拖动),现场检查不增加模型轮次;层级不可用时拒绝操作。
|
||||
成员回执区分完成、跳过、结果不明和未执行;部分失败后不能将已成功或结果不明的输入整组重发。
|
||||
“最大/最小”优先通过原生加减按钮调整,并核对继续同向调整后滑块、刻度是否停止变化,或读取明确的原生极值。
|
||||
|
||||
Reference in new issue
Block a user