feat: add guided exploration and share user-started MCP backend

This commit is contained in:
chenmingxuan committed 2026-10-16 18:32:46 +08:00
1 parent f86db1ced6
commit ee256ad7ce
144 files changed
+8625 -2075

No files matched your search

+4 -1
View File
@@ -37,8 +37,11 @@ Flash 和 Pro 都支持任务内的安卓文件工具 `android_file`:保存原
| `mobile_search_history` | 全库搜索、日期/状态筛选和分页 |
| `mobile_inspect_trace` | 只读步骤、截图和执行证据 |
| `mobile_export_report` | Word、Excel、步骤截图、录屏片段、单任务资料及批次 ZIP,返回本地绝对路径 |
| `mobile_exploration` | 探索对话、指导、人工示范、暂停续跑、用例版本、Flash/Pro 复跑和批次草稿 |
新增工具通过统一后台服务运行,与网页共享配置、队列、历史和报告;不另外启动独立调度器。`ARTEMIS_STANDALONE` 模式不支持这些工作区工具。
全部 MCP 工具连接用户手动启动的 ARTEMIS 网页主程序,共用配置、队列、历史、设备连接和报告。MCP 只运行轻量 stdio 连接进程,不启动后台、不独立执行任务,`ARTEMIS_STANDALONE` 不改变这一规则。主程序离线时 MCP 仍可握手并列出工具,调用时提示启动;启动网页后下一次调用会自动连接。调用断线不自动重放,避免重复提交。
使用前先运行 `start.bat` / `start-cn.bat` 或 `uv run artemis ui`。默认自动发现同一安装目录的唯一主程序(包括非默认端口);有多个数据空间时,在 MCP 环境变量中设置 `ARTEMIS_DAEMON_PORT` 选择。显式 `ARTEMIS_APP_DIR` / `ARTEMIS_TRACES_DIR` 必须匹配。升级后重启网页并重载旧 MCP,已运行的旧进程不会自动替换。标准 Codex 配置使用 `required = false`,避免 ARTEMIS 异常阻断整个 AI 会话,更新保留用户的禁用状态。
Windows 启动入口 `start.bat` / `start-cn.bat` 只检查并提示源码更新,`-SkipUpdate` 跳过提示。独立升级入口为 `update.bat` / `update-cn.bat`:先把升级程序复制到项目外的临时目录,检查本地修改,再终止本项目的 ARTEMIS 服务、MCP 和任务进程;之后仅做 Git 快进更新,并用新版启动程序准备环境,完成后由用户重新启动。其他项目、Codex、模拟器和共享 ADB 不受影响;运行中的任务会被中断,不会作为成功任务处理。1.1.1 及更新版本的发布 ZIP 含 Git 工作树,旧版无 `.git` 的 ZIP 需改用新版包或 Git 克隆。没有 Git、网络/认证失败、有本地修改或分支分叉时升级失败并保留现有源码,不重置或覆盖。
+86
View File
@@ -0,0 +1,86 @@
# 探索模式:把粗略流程变成一个可复用用例
在「新任务 / 首页」选择 Flash、Pro 或「探索」,描述要验证的大概流程,再点击「开始探索」。ARTEMIS 使用 Pro 的计划、工具和验收机制推进任务;遇到关键预期不明或需要选择时,在任务主区域提问。底部输入框用于回答问题、补充信息和纠正方向;探索还提供人工示范、暂停与继续。
工作区底部始终指导当前选中的任务:Flash/Pro 不会因此创建新任务;探索消息与操作步骤按时间排列。同一次探索在任务队列/历史中保留一张卡,内部执行轮次可展开查看,当前步骤对应所选轮次。通过「任务范围 → 探索任务」筛选。Flash/Pro 复跑各自保留普通任务卡,可点击「查看来源探索」返回;不会自动切换成探索对话。
## 模型与超时
探索独立保存模型配置,默认 `gpt-6.1-sol / high`,预设也提供 `gpt-6-astra`,允许自定义模型。执行、人工示范分析、用例提炼和结束后的讨论使用这套配置。修改默认值仅影响新探索;已创建会话保留配置快照,Flash/Pro 默认值不变。
默认每段主动执行 1800 秒。模型调用、设备动作、录像分析计入;排队、等待回答和人工示范不计入。到时保存进度并暂停,可点击「继续探索」开启下一段;不会仅因超时把测试判成失败,累计主动耗时仍保留。
普通暂停/等待回答会释放执行资源;继续后重新排队并观察设备。服务或执行进程中断后,已保存对话、证据和用例仍可用;继续会新建关联运行,不能恢复已经丢失的内存状态。
执行过程中获取设备画面超时或连接中断时,探索会保留尚未执行的指导并暂停,释放设备。确认设备恢复响应后点击「继续探索」,重新观察成功后才交给模型执行;等待期间不自动重试、不调用模型。此类暂停不等于测试失败。若设备仍不可用,会再次明确提示并暂停。
队列和历史任务以等高徽标显示「探索 / Flash / Pro」。用例复跑显示实际执行模式并另标版本;尚可继续的探索只展示当前执行状态,具体轮次的阻塞原因可在执行记录查看,结束后再展示测试结论。旧任务未保存模式时显示「模式未记录」。
## 我来操作
1. 点击「我来操作」,选择安卓、电脑或双来源,再点击「开始示范」。电脑来源要求任务已启用支持录制的插件。
2. 等界面显示「录制中」后再操作。ARTEMIS 会先让当前动作安全结束、停止 AI 操作,保留相应设备与插件资源,避免其他任务抢占。
3. 操作完成后点击「操作完成,开始分析」。ARTEMIS 停止并保存录像,分析实际画面,再显示摘要。证据明确时重新观察并继续;关键步骤或预期不清楚时再提问。
即使普通录屏关闭,人工示范仍单独录制。默认 15 分钟,最后 60 秒提醒,可以延长;到时保存录像并暂停,释放资源,不能自动视为示范完成。取消或分析失败也保留已取得的媒体,可发送文字说明继续。
录像不录音,沿用留档尺寸、帧率和编码配置。安卓与电脑分别保存并按任务时间对齐;示范分析只使用指定的已保存片段,不用手机截图代替电脑证据。画面不可见的输入和动作不能推测,用户示范不等于模型独立复跑通过。
## 用例版本与复跑
探索验收通过后提炼一个用例,包含目标、前置条件、可验证路径、等待条件和预期结果。长任务会分段提炼完整路径,原始记录保留。提炼失败不改写实际测试结论,可单独重试;未通过的探索不能自动提炼成「已验证路径」,但可以手动保存草稿。
主区域的用例卡可复制提示词,点击「查看 / 编辑」展开编辑器并保存新版本,旧版本不可变。选择已保存版本和 Flash/Pro 模式,可以指定复跑模型,也可使用普通默认模型。复跑固定版本与配置,结果与探索验收分开显示。前置条件会纳入探索用例的复跑提示词。
「加入新批次草稿」只创建批次,在「报告与批量」确认后启动。结束后仍可在对话中讨论与修订;需要再次操作设备时点击「继续探索」,它会重新排队并观察。新指导不会改写旧任务报告。
单任务和批次「全部资料」包含对话、用例版本和关联运行索引、当前任务的示范录像及原有截图/附件。其他关联任务的媒体需从对应任务导出,索引不会假称包含它们。
## MCP 与 Python SDK
更新 MCP 配置并重载后,使用 `mobile_exploration`。它与网页共用接口、队列和存储;`list/get/case` 都是只读操作。
```python
mobile_exploration(
action="create",
request_id="case-search-create",
payload={
"goal": "探索设置搜索流程;关键预期不清楚时询问我",
"task_config": {"device_serial": "用户指定的设备编号"},
},
)
# 以下 exploration_id 使用 create 返回的 id。
mobile_exploration(action="start", exploration_id="会话编号", request_id="case-search-start")
mobile_exploration(action="get", exploration_id="会话编号", after=0)
mobile_exploration(
action="message",
exploration_id="会话编号",
request_id="guide-1",
payload={"text": "只验证能打开搜索页,不修改设置"},
)
```
写操作除 `pause/stop` 外均需稳定的 `request_id`;传输失败时原样重试,不生成新编号。消息 `after` 为已读最大序号;读取返回下一页,不会启动执行。运行结束看 `runs[].test_result`,不能把 `completed` 当作测试通过。
| 操作 | 参数/行为 |
| --- | --- |
| `pause/continue/stop` | 暂停/继续/明确取消当前执行 |
| `demonstrate` | `payload={source:"android"/"computer"/"both"}`;等 `demonstrations[].status=recording` 再操作 |
| `demo_finish/demo_cancel` | 传 `demonstration_id`;结束分析/取消保留媒体 |
| `demo_extend` | 另传 `payload={seconds:900}`,同一请求不会重复延长 |
| `case` | 可传 `version` 获取旧版本 |
| `save_case` | `payload={expected_version,case:{name,goal,preconditions,evidence}}`;版本冲突返回 409 |
| `generate` | `payload={source_run_id,expected_version}`;返回生成任务,轮询 `get.generations` |
| `validate` | `payload={version,profile:"flash"/"pro",task_config:{...}}` |
| `batch` | 与 validate 相同,可加 `name`;只建草稿 |
`mobile_config(section="exploration")` 读取非敏感默认值;用户授权保存后才传 `changes` 与 `persist_defaults=true`。接口不接收 API Key,模型传输仍使用已配置的 Responses 网关。
远程 SDK 的 `await client.exploration(action, exploration_id=..., request_id=..., payload=...)` 使用同样动作及参数,不创建第二套执行器。详细契约与验收记录见 [设计文档](plans/2.0.0-exploration.md)。
## 对话与结束行为
- 探索助手提问后会暂停,主区域和输入框显示“等待你回答”。回答前不进行最终验收,也不生成用例。
- 新指导优先于已完成的旧计划。最终检查期间收到指导会返回执行;例如“先回到主页,再结束”需要实际完成返回操作后再验收。
- 设备操作及最终验收结束后进入“正在提炼用例”,此时不再接收设备指导。未发送文字会保留,提炼完成后可点击“继续探索”。用例卡片只在探索结束时展示。
- 进入只读最终验收前停止保存录屏,模型等待、重试与用例提炼不录入视频;如需补做操作,再录制后续片段。
- 首页探索设置使用滑块调整思考强度与时限。复跑任务显示已保存的用例名称及版本,完整提示词仍保存在任务中。
+124
View File
@@ -0,0 +1,124 @@
# ARTEMIS 2.0.0 探索模式设计
状态:2026-10-16 已实现并完成确定性回归与核心实机流程验证;实测范围和仍需补充的组合验证见第 9 节。本文与 [插件总体设计](2.0.0-plugins.md)、[插件证据设计](2.0.0-plugin-evidence.md) 配套。
## 1. 目标与已确认范围
用户提供粗略的复杂测试流程,由 ARTEMIS 自主探索;用户可随时聊天纠正、回答澄清问题或录制人工示范。一次探索最终产出一个可复用、可编辑的测试用例提示词,供 Flash/Pro 再次执行,并可加入既有批次。探索通过与提示词复跑通过分开标记。
- 在 Flash、Pro 外增加独立的“探索”入口。自主推进,关键预期缺失、阻碍或需要用户决策时提问;不要求用户事先写完整用例。
- 新增 `gpt-6.1-sol`、`gpt-6-astra` 模型预设,探索默认 `gpt-6.1-sol` / `high`。探索执行、示范分析、用例提炼默认使用独立保存的探索配置,不改 Flash/Pro 默认值。
- 同一会话兼容网页与 MCP。外部 Agent 能发起、查看、指导、回答、控制示范、获取用例和复跑;读取状态不能触发新任务。
- 默认每段主动执行预算 1800 秒;模型调用、设备动作及示范分析计入,排队、等待回复及人工示范不计入。耗尽后保存并暂停,不因超时标记执行或测试失败。用户继续后开启下一段预算,保留累计耗时与续跑次数。
- 人工示范暂停模型、保留相应设备/插件资源占用;确认安全停止后才显示可以操作。默认当前操作端,可选择安卓、电脑、两者。独立于普通录屏开关。
- 点击“操作完成”后停止示范片段、分析实际操作与结果,展示简短摘要;证据明确则恢复探索,关键不确定点先询问。禁止猜测画面无法确认的输入或中间动作。
- 示范默认最长 900 秒,提前 60 秒提示,可延长。超时保存录像并暂停,释放资源,不自动认定示范完成或继续。支持取消示范。
- 录像/分析失败保留原始证据,明确失败原因,可通过文字说明继续;不能将缺失录像当作已分析。沿用高效留档配置及编码回退,不录音。
- 完成后自动保存一个用例,包含目标、前置条件、已验证路径、预期结果和必要的异常处理。变量明确标注,不复制试错动作、密钥或不可靠坐标。
- 会话结束后仍可交流和修订,保留用例版本。复跑固定版本、运行模式和模型;失败证据可带回会话改进。完成运行释放设备,再操作须重新排队并观察。
## 2. 用户流程
选择探索并描述流程 → 自主执行/澄清 → 聊天指导或人工示范 → 按原始目标及确认后的指导验收 → 生成用例 → 编辑/复制/加入批次/选择模型复跑。
主页面沿用任务工作区和统一步骤时间线,增加探索对话、人工示范状态、用例版本卡片。队列标签区分执行状态与验收状态。示范的安卓和电脑证据有独立来源;双来源按同一任务时间轴对齐,不能互相充当操作证据。
## 3. 架构与数据所有权
- 调度继续由 `TaskQueueService` 负责,资源互斥继续由 `DeviceExecutionLock` 负责。探索使用 Pro 的持续计划、工具执行、历史压缩和 Checker,不另建业务调度器。
- 探索会话、消息、示范元数据、不可变用例版本和关联运行使用现有 `AutomationStore` 数据库;新增记录类型,事务更新,不能对整份会话做无保护的读改写。
- 会话 ID 与实际执行的任务 ID 分离。一份会话可以关联多段探索和多次复跑,但每次真实运行仍有独立 trace;普通暂停/续跑保持原有任务内上下文。完成后的修订不改历史执行或已发布的版本。
- 队列 admission 使用 `request_id` 幂等;开始/结束示范、回复和生成用例也有请求标识。Web 与 MCP 调用同一个领域服务,不各自实现状态转换。
- 执行进程只在安全检查点响应接管。模型与只读调用可取消,已开始的设备动作先安全结束。用户指导保存来源、提交、读取时间;读取不宣称已经落实。
- 增加探索专用提问工具,让模型明确说明问题、推荐答案和阻碍原因;等待通过现有任务控制机制释放设备并暂停计费时钟。回复后重新获取资源、重新观察,继续原计划。
- 用例提炼读取原目标、指导、计划、最终验收、步骤及示范摘要,调用 Responses 结构化输出。只能在有实际验收证据时标记探索通过;提炼失败可重试提炼,不重提业务任务。
## 4. 状态与超时
会话状态与任务执行状态分开:`draft`、`running`、`waiting_user`、`demonstrating`、`analyzing_demo`、`paused`、`completed`、`cancelled`。`completed` 是探索运行结束,是否通过另读实际 `test_result`。
- `running → waiting_user`:保存问题,在安全点停下,收尾普通录像,释放资源。
- `running → demonstrating`:停止模型,保留资源,启动选择来源的示范录像;界面在录制真正就绪后显示录制中。
- `demonstrating → analyzing_demo`:用户结束,先完成媒体收尾,分析指定片段;分析期间不允许设备动作并计入主动预算。
- 分析成功且无关键疑点,重新观察后回到 `running`;存在疑点则 `waiting_user`;失败保留片段并等待文字说明。
- 示范取消/超时保存已有媒体,进入 `paused` 并释放资源;不自动提交成功示范。
- 主动预算耗尽请求协作暂停,保存原因 `execution_budget`;不能调用普通任务超时失败收尾。恢复重置当前段预算,同时累加历史主动耗时。
- 服务/执行进程崩溃保留会话和已有证据,显示中断、可从保存的上下文继续;不能把没有存活进程的状态显示为仍在录制。恢复创建关联运行,不假装恢复已丢失的内存状态。
- 终止仍为明确的取消操作,释放资源、关闭录制进程;自动恢复仅指执行状态,不恢复用户业务配置。
## 5. 示范媒体与分析
复用 Android scrcpy 与电脑插件 FFmpeg 录制、归档参数、时间映射、切片和分析。普通任务的 `VideoAnalyzer` 仍从活动录制查询;人工示范通过 `SavedVideoSource` 分析已保存片段,并显式传入来源与时间范围,不将电脑文件伪装成 Android 活动录像。
- 示范文件放在所属 trace 的 `evidence/demonstrations/<id>/`,记录来源、实际起止、任务偏移、编码、尺寸、媒体验证及分析状态。所有读取受 trace 路径边界约束。
- 开始示范时协调已有录制,避免同一来源并行启动两个录制进程;结束后恢复原任务的录屏策略。
- 双来源分析带明确来源标识和时间偏移,只对有真实覆盖的片段提取信息。长视频沿用分片与预算,不一次无界塞入模型。
- 分析输出包含可观察步骤、结果、关键疑点、证据时间范围。摘要进入探索对话与模型上下文,原视频继续可回看、可导出。
- 生成或修订提示词不把一次人工示范当作模型独立执行成功;复跑记录保留是否有用户介入。
## 6. 接口与配置
- 领域操作:创建/获取/列出会话;发送消息/回答问题;开始、结束、延长、取消示范;暂停、继续;保存/获取用例版本;生成/修订用例;按指定版本复跑;加入批次。
- HTTP 与 MCP 通过同一服务分派。MCP 支持分页读取消息及状态;敏感凭据沿用现有配置,接口不接收或回显密钥。
- 探索默认配置集中在配置层,开发与打包 JSONC、环境示例、网页和 MCP 配置保持一致。模型预设不是新的模型传输分支。
- 单个会话固定生效配置;后续修改默认值只影响新会话。复跑使用用户选择的 Flash/Pro 配置,不暗中沿用探索高级模型。
- 报告/导出保留会话目标、实际运行、示范来源、用例版本、探索验收与复跑验收关联;批次继续使用原有 TaskCase 结构。
## 7. 验收清单(完成必须有证据)
- [x] 网页入口、独立模型配置与两项预设;默认 sol/high,保存默认值不会改已有会话(配置、服务及浏览器验证)。
- [x] 复用既有队列和资源锁,完成真实安卓探索(服务契约、资源生命周期测试及实机验证)。
- [x] 提问、等待、回复、指导、消息顺序和幂等(实机提问与网页交互,MCP 路由契约回归)。
- [x] 安全点接管与资源保留、普通录屏暂停后恢复(生命周期回归;安卓示范实测)。
- [x] 安卓、电脑单来源录像保存并分析;失败保留源文件、保留疑点,毫秒范围与长片段尾部取样有回归。
- [x] 示范默认 900 秒、提前提示、幂等延长、超时保存与释放(模拟时钟和前端测试;未等待真实 15 分钟)。
- [x] 主动预算排除等待/示范,耗尽后暂停,继续保留累计时间且重复请求不重开任务(回归及 30 秒实测)。
- [x] 自动生成一个用例,编辑保存 v2,查看 v1 不受覆盖(真实模型和网页验证,版本冲突回归)。
- [x] 固定版本复跑;实测 v2 Flash 复跑通过,Pro 参数与独立模型配置有契约覆盖。
- [x] 完成后的讨论不启动设备任务;孤立生成任务、工作进程状态与中断恢复有回归。
- [x] Web/MCP/SDK 共享服务;工具注册、CLI 白名单、Skill 和文档同步,契约测试通过。
- [x] 加入批次仅创建草稿且支持幂等;保存设备/插件绑定,不继承探索高级模型(实际按钮与回归)。
- [x] 实际下载包包含对话、版本与运行关联,人工示范视频索引指向包内文件。
- [x] 隔离 Python/Angular 回归、Ruff、质量基线、核心 Pyright、前端构建,以及浏览器关键交互检查。
以上勾选表示已按括号内方法验证,不代表所有设备、模型和组合都已实测。发布前补充项单列于第 9 节。
## 8. 实施顺序与验证隔离
1. 数据契约、配置、事务存储及共享服务;先覆盖状态转换、幂等、版本和预算。
2. 接入 Pro、提问/指导、超时暂停和用例提炼;打通 Web/MCP 同一运行。
3. 人工示范资源生命周期、指定来源媒体分析、归档与失败恢复。
4. 工作区交互、版本/复跑/批次入口,MCP/SDK/文档同步。
5. 确定性回归、浏览器联调、真实设备与电脑示范闭环验收。
所有测试在导入 Python 项目模块前设置独立 `ARTEMIS_APP_DIR`、`ARTEMIS_TRACES_DIR`、`DATA_ENGINE_DB_PATH`。不写用户历史、改用户模型默认值或调用未授权的业务任务。当前开发仅在 `codex/v2.0.0-plugins` 工作树进行;不自动推送或发布。
## 9. 2026-10-16 验证记录与边界
核心实测使用隔离数据目录和用户指定的 Android 模拟器。`gpt-6.1-sol / high` 实际完成设置首页搜索入口操作,Checker 验收通过后自动生成 v1;在网页修改为 v2,再由 Flash 使用 `gpt-6-luna / high` 独立执行,通过且准确关联 v2。两次通过结果分别显示,不由探索成功推定复跑成功。
另外一个会话验证了模型提问、等待、人工示范与录像留存。安卓约 105 秒示范完成保存;修复片段时间精度后重新分析成功。分析仍明确表示无法从画面还原的操作,未将这次示范自动算作独立验证通过。结束后的真实模型讨论没有创建设备任务。
Windows 电脑单来源录制与保存片段分析通过:约 4.47 秒、1280×720、H.264、约 150 KB。实际 4K 桌面验证发现软件编码缓冲使首帧迟迟不落盘,已通过低延迟编码设置修复。该测试使用本地已验证插件清单驱动录制模块,不代表重新验证了插件安装流程。
主动执行预算用独立会话改为 30 秒:约 30.8 秒进入 `execution_budget` 暂停,执行结果和测试结果均为空,没有标为失败。继续后仍是同一运行,预算段增加一次;相同请求重复发送没有再次续接。随后主动停止该测试,取消状态来自测试收尾。产品默认仍是 1800 秒。
浏览器验证覆盖旧版本查看、编辑保存、复跑、批次草稿与独立验收展示;实际导出验证覆盖成功探索的 v1/v2 索引及安卓示范录像。检查到的浏览器连接错误发生于测试服务器主动重启期间。
自动检查:Python 默认回归 2640 通过、2 跳过、8 排除;Angular 228 通过,生产构建通过;Ruff 检查和格式、质量基线、核心 Pyright、Git 空白检查通过。Python 中既有 Pillow `getdata` 弃用警告不影响结果。
尚未实测的发布验证项:
- [ ] 安卓与电脑同时示范的完整双来源录制、分析、恢复流程;已有来源契约和基础生命周期回归,不能替代组合实测。
- [ ] 真实持续 15 分钟的示范上限与长时间资源占用;当前覆盖来自模拟时钟和状态测试。
- [ ] 重载已安装 MCP 后,由外部 Agent 完整调用新工具;当前 Web、MCP、SDK 的共享路由和参数已通过契约测试。
- [ ] 更复杂业务用例、多设备、多显示器及长时间连续探索压测;单个设置入口用例只证明核心闭环可用。
## 已确认的工作区交互调整
- 首页并列 Flash / Pro / 探索;探索独立设置模型,默认 sol / high。
- 工作区不再另设「探索对话」侧栏;主区域按时间显示交流和所选执行轮次的步骤。
- 底部输入框服务当前任务:普通模式发指导,探索模式交流、回答问题、人工示范与暂停继续。新任务从首页创建。
- 任务范围新增探索筛选;后端分页前合并同次探索的执行记录,复跑任务保持独立。
- 用例结果默认紧凑卡片;按需展开编辑器和复跑设置。