fix: prepare transient controls inside native action sequences

This commit is contained in:
chenmingxuan committed 2026-11-02 15:33:13 +08:00
1 parent 00e62a663a
commit 4879adc380
16 files changed
+417 -31

No files matched your search

+8 -1
View File
@@ -27,6 +27,13 @@ Flash 和 Pro 都支持任务内的安卓文件工具 `android_file`:保存原
## 短时安卓控件与精确拖动
Flash 和普通 Pro 都支持任务内原生 `action_sequence` 与 `drag`,外层 MCP 工具不变。
这是通用的安卓短动作组合器,不限于时间轴。短时面板每次操作优先使用 `[ensure_visible, click/drag]`:
AI 指定已观察到的面板内 target、入口 opener 资源 ID 和 target_description,工具现场判断是否已经显示;
需要时只点击入口一次,并在本机等目标出现(timeout_ms 默认 1500,上限 3000),再执行后续成员。
已显示时跳过打开,缺失、不唯一、层级不可用或超时则停止并保留回执,不重试已输入的动作。
它只准备界面,不用于业务提交;无原生 ID 时仍可组合已观察坐标的 click/wait/drag。
序列与校准拖动沿用小型动作的 16,384 字符参数流保护:异常膨胀时在执行前断流,
丢弃不完整参数,按已有的无效输出策略有限重试,不把截断内容派发到设备。
任务可以要求“先观察缩放弹层的真实滑块位置,恢复同布局后用一个连续动作打开、等待、拖动,
再检查刻度是否改变”。动作之间不再等待下一轮模型,适用于数秒后消失的控件。
序列使用 `pro.execution.max_burst_actions` 的数量限制(默认 4,等待也算一项),
@@ -40,7 +47,7 @@ click 的 times 支持 1–10 次连点,delay_ms 默认 100;连点仍占一
避免多轮稳定截图将短时面板消失后的画面覆盖为唯一证据;即时截图的稳定状态为未知,不能据此宣称画面已稳定。
普通 Pro 同样在完整连续组结束后保存截图,供立即进行的检查点验收使用;即使图片哈希与操作前相同,
也保留这次真实采集对应的动作后证据,不将图片去重当作没有采集。
元素列表中的真实 `resource_id` 可用于 click 的 `unless_visible`(面板已显示时跳过打开按钮)
元素列表中的真实 `resource_id` 可用于 click 的 `unless_visible`(面板已显示时跳过打开按钮,不能加在实际操作按钮上)
及 drag 的 `require_visible`(面板消失时不拖动),现场检查不增加模型轮次;层级不可用时拒绝操作。
成员回执区分完成、跳过、结果不明和未执行;部分失败后不能将已成功或结果不明的输入整组重发。
“最大/最小”优先通过原生加减按钮调整,并核对继续同向调整后滑块、刻度是否停止变化,或读取明确的原生极值。
+18
View File
@@ -34,6 +34,24 @@
历史日志没有保存的原始帧无法由新增诊断恢复。HTTP 200 只说明响应头已到达;客户端保护后出现的 499 或 Broken pipe 也不能证明最初原因。网关写入本机下游 writer 成功不等于客户端已消费或执行。
## 已核对的上游异常样本(2026-11-02)
一次真实 `action_sequence` 调用在任务超时前持续接收参数,没有完成该工具调用。该样本发生在 `action_sequence` 纳入参数保护之前。按同一 `response_id + call_id` 核对生产诊断,得到以下字符数;请求编号和设备信息不在文档中保留:
| 观测边界 | 参数字符数 |
| --- | ---: |
| CodexManager 收到的官方上游 WebSocket | 40907 |
| CodexManager 本地下游 writer | 40906 |
| NewAPI 收到的上游 SSE | 40904 |
| NewAPI 本地下游 writer | 40904 |
| ARTEMIS 的 SDK 参数片段 | 40619 |
五个边界在 4096 到 36864 字节的九个累计 SHA256 上一致。NewAPI 使用透传模式,收到和写出的完整参数哈希也一致。上游没有终止事件,也没有完成参数快照。该样本证明参数在官方上游返回时就已持续增长,不能归因于 NewAPI 转换、下游重复累计完成快照或 ARTEMIS 最终消息拼接。取消、预读和缓冲会使各层停止计数的位置不同;尾部总长度不同本身不能证明重复发送或字符丢失。
诊断没有参数正文,不能进一步断言是空白循环、重复描述或官方服务内部的重复事件。这个定位也不能追溯证明没有原始诊断的历史事故。另一次 `click` 异常同样在 NewAPI 接收时已超过四万字符,说明这种现象并非新动作序列独有。
本地保护覆盖 `action_sequence`、`drag` 及其他小型内置动作:超限后关闭流、丢弃参数,并按既有策略有限重试;它限制异常对当前任务的影响,不修复上游生成行为,也不保证业务任务一定成功。缩放面板自动隐藏导致的定位失败由动作序列的 `ensure_visible` 准备步骤处理,与参数流异常分别诊断。
## 离线验证
`tests/unit/test_llm_stream_guard.py` 验证保护、有限重试、相同/不同备用端点,以及不会创建或清除其他请求的全局暂停。`tests/unit/test_request_diagnostics.py` 验证请求编号、超时重试、响应头及单次参数计数。`tests/unit/test_argument_fingerprint.py` 验证不同分片、中文和 emoji、固定字节前缀、有界统计与异常编码。这些测试不调用真实模型或设备。