57 lines
11 KiB
Markdown
57 lines
11 KiB
Markdown
# 直播短时浮层与连续操作
|
||
|
||
用于准备或修订直播清晰度、全屏及声音开关等用例，以及复盘“点击画面后未见功能”的执行记录。只在本条需要相关控件时使用；设置页等持续页面仍按其实际加载条件等待。本技能不启动设备、不执行连续点击、不修改观测器或后端配置。
|
||
|
||
## 编写任务中的操作说明
|
||
|
||
1. **先核对落点并唤出。** 按当前画面辨认真实视频边界；目标当前不可见且尚无本次唤出证据时，在画面内无按钮区域单击一次唤出控件，再查看该动作的观测。目标当前已显示时直接操作，不额外单击把它隐藏。避开下方录像工具栏、抽屉拖柄和云台面板。动作说明写“点视频”不证明实际命中；只有面板收起/展开时先纠正定位。全屏、横竖屏、抽屉或布局改变后重新识别。优先采用执行端实际支持的文本、ID等定位；坐标仅使用当前布局已验证的位置，不复制历史任务坐标。
|
||
2. **首次发现要利用同动作早帧。** 唤出后同时核对执行端实际提供的较早动作后画面和当前末帧，从可见图像辨明清晰度文字、全屏或声音控件的位置与作用；UI树没有“高清”不否定图像里的“高清”。较早画面是已发生的短时证据，不是当前状态，也不提供当前元素索引。它能补齐首次入口定位，不能因末帧已隐藏而丢弃，或只在同一张隐藏末帧上反复询问Explorer。没有早帧时按下述取证分支核实，仍不明则保留入口未定位，不能靠双击或猜坐标补足。
|
||
3. **定位后在当前布局内完成连续操作。** 将较早画面与当前末帧核对为同设备、同视频边界、方向、工具栏及面板布局后，才把该入口用于当前布局；横竖屏、面板或页面改变后重新定位。当前已显示目标时直接点目标，避免再点画面将它隐藏；当前已隐藏且布局仍一致时，在一个实际支持的短序列内完成“唤出浮层 → 点击已确认目标入口”，中间不采完整UI树、不等待下一轮模型。当前Flash实际开放 `click_sequence` 时应使用它；两个模型回合的单击、同点 `times=2` 双击，都不能代替两个不同目标的连续操作。未验证双击语义时不以双击试代替全屏或清晰度入口；其他执行模式只采用其真实支持的连续动作能力，不发明工具或参数，不套历史截图的元素索引，也不在布局已失效时照搬位置。
|
||
4. **等待业务反馈。** 点击入口后，以菜单出现、全屏状态、声音图标状态等本条可观察结果为继续条件。清晰度用例须按原文选择实际档位并核对选中反馈和所需播放结果；菜单打开不等于切换成功。目标已经可见时直接操作，不再额外点击画面导致浮层被切换隐藏。
|
||
5. **有限恢复。** 已确认的浮层隐藏后，可依据仍有效的布局重新唤出并连续点击。若再次因相同的慢观测错过窗口，停止这一循环，交执行方核对能力和观测耗时；不靠反复点画面、延长等待或增加步数解决。仍不能操作时只记录本条未完成范围，不转去无关设置页泛查，也不推断功能不存在。只有本条确需其他入口且有实际线索时才探索相关路径。
|
||
|
||
若本条只要求在某档位持续播放（如3.3），本次当前画面已明确显示所需“高清”时可确认并保持，不为确认增加无意义的改档再改回；同动作早帧可作为该时点的档位证据，须结合之后是否改档、是否仍为同设备播放核实适用范围，不能把任意历史标签当当前状态。3.6等原文要求往返切换的用例仍须实际完成各次切换，初始已高清不免除后续操作；3.3的有效10分钟及质量观察也不因入口曾显示而完成。
|
||
|
||
可拼入已补齐环境、原步骤和判据的正式提示词的动作段示例（不是完整可派发任务）：
|
||
|
||
> 在当前视频内唤出控件，首次从同动作提供的较早画面识别清晰度入口，同时用当前末帧核对设备、视频边界和面板布局。早帧出现而末帧隐藏表示曾显示；布局仍相同时，用实际支持的 `click_sequence` 在同序列中重新唤出并点已确认入口，不拆成两个模型回合或改成同点双击。目标当前可见则直接点；布局变化重新定位。打开菜单后按本条原要求核对实际档位及播放，较早画面不作为当前元素索引或完整业务通过依据。
|
||
|
||
只取本条适用部分；声音用例不追加清晰度切换，全屏用例不追加听音或画质判断。工具配置、观测日志和通用证据归档不拼入每条任务正文。原用例明确要求的业务时长仍须实际计时，不以模型处理时间代替。
|
||
|
||
## 执行方的取证与诊断
|
||
|
||
以下供后续获准执行的 Codex 交接和只读复盘使用，不是本技能的设备执行步骤，也不是保证提示词可控制底层观测器的承诺。
|
||
|
||
- 对齐同一 trace 的实际动作与落点、最早有效画面或已有录像、后续截图及返回时点。条件允许时保留点击后的首张有效截图，并记录后续隐藏状态；工具只返回末帧时明确限制，从已有录屏补证，不声称未保存的首帧已取得。不为捕获浮层重复触发录制、通话等业务动作。
|
||
- 对短时控件分别核验“曾显示”与“后续目标操作完成”；不要求整幅直播画面稳定后才认可浮层。多轮稳态采样可能丢失瞬态，提示词无法修复执行器行为；超出能力时记录限制并交接所需观测改进。
|
||
- 先核执行器是否已经采到早帧、但只把最终稳定帧传给模型。此时仅追加“快速点击”仍不能让首次未知入口被发现。执行层应保留当前末帧与当前元素，另把同动作的最早有效画面作为明确标时序的历史证据提供给实际决策端；不得直接将早帧替换成当前状态。发现信息不仅要写进日志，还要核对Flash/Pro实际消费的多模态上下文；只保存文件或发一段“请看早帧”文字不等于模型已看到图像。早末帧整幅图像感知哈希接近也不证明短时控件相同。
|
||
- 区分动作开始、截图采样、图片入库、状态返回及模型决策时间。入库时间不能冒充精确采图时刻，整段耗时也不能全部归为模型延迟。截图与 UI 树可能采于不同时刻，不能拿晚时点的空元素列表否定录像中的早时点显示。
|
||
- 核对原始 Flash/Pro 配置和 Runner 日志；摘要标签不一致时保留差异，不凭标签选择修复方式。既有录像按真实时间戳用 FFmpeg 等可靠工具抽帧；变帧率录像的 OpenCV 按时间定位须先验证时间映射，不按帧号和名义帧率直接推定时刻。
|
||
- 观测异常、任务工具报错或设备问题先按 ARTEMIS 工作流调用 `mobile_diagnose`。日志出现 helper 不可用、UIAutomator2 停止/恢复、后端回退或多轮观测时，记录它们与操作窗口的时间关系；不能把本次相关性推广成所有失败的根因。helper 缺失只是可选能力降级时，不因它单独判整机阻塞，也不反复诊断同一可选项。
|
||
- 构建或部署 helper、调整后端恢复策略或修改默认配置，交执行方按实际诊断和授权另行处理。技能更新不代表这些修复已完成；不自动全局开启录屏、切换模型/执行模式、增大超时或重提原业务任务。需要新增录屏时遵循当前任务的配置与授权，不能事后补拍冒充原执行证据。
|
||
|
||
| 证据 | 本条应保留的结论 |
|
||
| --- | --- |
|
||
| 实际落点在拖柄/工具栏，只有面板变化 | 定位未成功；重新定位后有限纠正，不能写成已点视频仍无控件。 |
|
||
| 录像或早帧明确出现浮层，末帧已隐藏 | 唤出成功；若没完成入口点击，则记录短时交互未完成，不再写“未弹出”。 |
|
||
| 仅有较晚截图或晚时点 UI 树，缺少即时画面 | 未取得足以判定是否弹出的短时证据；不确认为 App 缺陷。 |
|
||
| 仅有 tap success / dispatched 回执 | 只证明调用结果，仍需实际界面证据；不直接记业务成功。 |
|
||
| 菜单已打开，但没有目标选中或播放结果 | 入口打开成功，原用例后续断言仍未验证或未完成。 |
|
||
|
||
## 已验证样本与适用限制
|
||
|
||
2026-10-16 对下列历史任务的复盘已用原始录像交叉核验：
|
||
|
||
- `50691d8e-2390-4189-b6ac-4cb3c5c32e84`：第 4、6 步确实显示浮层；动作至最终 post 图片入库分别约 25.47、27.50 秒。第 5 步另有点到云台拖柄的定位问题，两类原因分别保留。
|
||
- `cd09d017-d5fc-4f12-b366-535d2638199a`：第 4、6、7 步均曾显示声音、高清及全屏浮层；对应入库耗时约 30.03、18.33、31.04 秒。
|
||
- 本次页面浮层约 5 秒后隐藏；同设备核验中，约 1 秒内完成唤出及点击“高清”可打开档位菜单。两份原始日志实际走 FlashRunner，相关观测中存在 helper 不可用及 UIAutomator2 回退。
|
||
|
||
2026-10-16的两个新增失败已精确核对数据库 `initial_goal` 与V7对应F列一致，排除了导入旧稿；原始执行同为FlashRunner，摘要误标Pro不覆盖原始配置：
|
||
|
||
- `b00d7a56-0a19-4091-a81f-b69923d2385b`（3.3）：第5、7步点位均在真实视频内，动作后最早观测图片已显示“高清”、声音和全屏；第一组早图登记17:11:41.557，最终引用隐藏图登记17:11:46.710，第二组17:12:38.029/17:12:43.661。整步分别约9.65/8.44秒；录屏按真实PTS确认两次浮层各约5秒。早图确已采得但被后续稳定化末图覆盖，是首次入口无法建立的直接原因，不再归为点错面板或产品未弹出。未执行 `click_sequence`，也未开始有效高清10分钟；历史 `failed/blocked` 及质量缺项保持。
|
||
- `12f95604-fdcb-426d-a827-af4d4704081c`（3.6）：第5、6、8步后录屏均显示高清/全屏浮层，真实PTS可见区间约96.551–101.106、113.613–118.324、169.850–174.483秒。动作开始至最终图片登记约9.13/24.12/21.73秒；这是登记间隔，不冒充精确采图耗时。只执行普通单击、一次同点双击及收云台，未执行两目标连续序列；Explorer在隐藏末图返回无候选不否定此前出现。259.5秒结束为主动受阻收尾，不是总预算超时；原往返切换、全屏及质量仍未完成。
|
||
|
||
这两个样本说明“较早图已显示 → 当前核布局 → 重新唤出并连续命中”的首次定位闭环必须在执行端可见，不能仅重复文字要求。helper缺失和UIAutomator2恢复可能放大时延，但不是“全部失败都由helper引起”的结论；本技能的修订与执行层代码修复、服务加载及设备复测分别验收，不改写旧trace或宣称已重新跑通。
|
||
|
||
上述秒数是本次样本，不是所有 App 的固定等待、超时或连续点击间隔；本技能不固化本次型号、分辨率或坐标。不能把所有“未见”都归为慢观测，也不能因样本成功自动更改历史业务结果。修订历史结论时仅覆盖实际证据支持的断言，保留清晰度往返切换、长时播放及音画质量等尚未完成或需人工判断的范围。
|