docs: publish the complete Artemis 2.0.0 release guide

2026-10-18 21:08:28 +08:00
1 parent 838e9142a9
commit 42f5f3ed55
@@ -2,12 +2,16 @@

 基于 [ARTEMIS](https://github.com/google/artemis) 扩展的 Android AI 自动化测试平台。用自然语言描述任务，即可通过简体中文网页或 MCP 驱动真机、模拟器执行操作并收集结果。模型统一使用 **OpenAI Responses API**。

+**2.0.0 已发布**：新增交互探索、插件扩展和精选任务，增强跨端证据与 AI 接入。完整变化及升级步骤见 [2.0.0 发行说明](docs/releases/2.0.0.md)。
+
 ## 主要功能

 - **自然语言任务**：Flash 适合明确的操作流程，Pro 适合需要计划、分支探索和验证的任务。
 - **交互探索**：边执行边交流，也可录制人工示范；探索成功后生成一个可编辑、复跑的用例。默认使用独立的 `gpt-6.1-sol / high` 配置，超时暂停并保留进度。见 [探索模式](docs/exploration-mode.md)。
+- **插件扩展**：在插件市场安装并启用电脑控制等能力，AI 在安卓任务中按需使用；手机、电脑的步骤与证据统一留档。见 [插件与跨端任务](docs/plugins.md)。
 - **可保存的模型配置**：支持自定义接口、模型、思考强度和超时重试，以及视频分析与录屏开关。
 - **批量测试**：按新版 Excel 模板导入提示词，每项可独立指定模型、模式和参数；任务可暂停、补充指导并继续。
+- **精选任务**：收藏单任务、批次或探索用例，在首页一键复跑，默认沿用已保存的配置。
 - **报告与历史**：导出 Word、Excel、步骤截图、录屏和任务资料 ZIP；历史按日期分组，支持搜索和筛选。
 - **AI 接入**：随源码提供 MCP 与 Skill，让 AI 完成设备诊断、任务执行、历史分析和报告交付。

@@ -46,7 +50,7 @@ cd Artemis-Eapil

 1. 在首页“系统设置与运行准备”中选择设备，打开“模型配置”。
 2. 填写支持 Responses 的接口地址、API Key 和模型名称，测试连接后保存。接口地址通常是以 `/v1` 结尾的 API 根地址。
-3. 输入任务目标，选择 Flash 或 Pro 后执行；在工作区查看步骤、截图和结果。
+3. 输入任务目标，选择 Flash、Pro 或探索后执行；在工作区查看步骤、截图和结果。流程尚不明确时，选择探索并随时交流。
 4. 通过“报告与批量”导出报告或导入 Excel 用例；任务队列支持历史搜索。

 预设模型为 `gpt-6-luna`、`gpt-6.1-sol`、`gpt-6-astra`、`mimo-v2.6-pro`，主模型与兜底模型均可选择预设或填写自定义名称。新安装默认模型是 `gpt-6-luna`，思考强度默认 `high`（最高可选 `max`），单次请求超时 **300 秒**，失败后最多重试 **5 次**，间隔 **10 秒**。遇到 429 请求过多时改为每次等待 **60 秒**。连续 3 次没有有效工具调用时，本步骤改用 `gpt-6-luna`（high），兜底模型最多再尝试 3 次；下一步恢复首选模型。视频分析与录屏默认关闭。模型及思考参数是否可用取决于所配置网关；不支持时会明确报错。
@@ -81,7 +85,7 @@ uv run artemis mcp --install codex

 1.1.1 及更新版本的发布 ZIP 含浅层 Git 工作树；包含独立升级入口的新版源码包可直接用上述脚本升级。1.1.0 及更早 ZIP 不含 Git 信息，需改用 Git 克隆或新版源码包。遇到启动或设备问题，在项目目录运行 `uv run artemis doctor`。

-2.0.0 开发分支增加了插件页面、电脑/混合执行目标、命名连接配置及共享资源保护。首发电脑插件仍在实测，市场索引暂不收录未完成验证的包。配置和开发约定见 [插件与跨端任务](docs/plugins.md)。
+电脑控制插件由独立市场分发，升级 ARTEMIS 后还需在「插件」页面安装或更新并启用。当前 Cua 插件适用于 Windows x64，保留预览标识和实测范围；需要前台输入时会占用用户桌面。配置和开发约定见 [插件与跨端任务](docs/plugins.md)。

 更多说明：[批量任务与报告](docs/automation-workspace.md) · [AI 接入](docs/ai-automation.md) · [开发协作指南](AGENTS.md)

@@ -1,8 +1,8 @@
-# 插件与跨端任务（2.0.0 开发版）
+# 插件与跨端任务（2.0.0）

 插件开发请阅读 [能力、证据协议与验收规则](plugin-development.md)，可运行模板位于 `examples/plugins/evidence-demo`。新插件使用清单版本 2；版本 1 仍兼容。

-步骤卡标明安卓、电脑等来源，可点击查看对应录像；同一步内保留实际工具调用。开启「保存录屏」后，已使用的安卓和电脑来源各自留档，通过播放器切换。电脑录屏需要插件提供版本 2 的来源回执和录像能力声明，当前市场使用 `cua-driver` 0.36.0；旧 `open-computer-use` 适配包从 1.1.0 起支持，但已从市场下架；仅更新 ARTEMIS 源码不会升级已安装插件。旧任务缺失的电脑录像无法补录，播放器会提示查看已有步骤截图。
+步骤卡标明安卓、电脑等来源，可点击查看对应录像；同一步内保留实际工具调用。开启「保存录屏」后，已使用的安卓和电脑来源各自留档，通过播放器切换。电脑录屏需要插件提供版本 2 的来源回执和录像能力声明，当前配套插件为 `cua-driver` 0.36.0+artemis.4，上游版本固定为 0.36.0；旧 `open-computer-use` 适配包从 1.1.0 起支持，但已从市场下架；仅更新 ARTEMIS 源码不会升级已安装插件。旧任务缺失的电脑录像无法补录，播放器会提示查看已有步骤截图。

 真实时间轴保留暂停和录制中断的缺口；连续播放自动进入下一段，拖动进度到缺口时跳到下一段，并提示跳过的时间。播放器单独显示实际录制时长及蓝色录像覆盖区间；从步骤定位到未录制时间时仍明确显示缺失，不以其他时间或来源的画面替代。录像默认 1280 长边、15 fps，编码参数在功能设置的「录像留档设置」调整；不会降低模型观察截图的分辨率。

@@ -10,7 +10,9 @@ Windows x64 的窗口录像使用 Windows Graphics Capture，再交给现有 FFm

 单任务「全部资料」和批次资料包含插件截图、录像、调用回执和生成文件，`证据索引.json` 使用包内路径关联附件。电脑截图默认保存任务 trace，明确要求桌面时额外复制并校验。工具执行完成与测试通过仍分别呈现，不自动恢复业务环境。

-ARTEMIS 可通过插件连接 stdio 或 Streamable HTTP MCP 服务，并按需加载插件内的 Skill。Flash、Pro、网页任务和批次复用同一套插件执行层。版本仍在开发验证中，市场只收录完成实际验证的安装包。
+ARTEMIS 可通过插件连接 stdio 或 Streamable HTTP MCP 服务，并按需加载插件内的 Skill。Flash、Pro、探索、网页任务和批次复用同一套插件执行层。市场展示每个包的稳定/预览状态及实际验证范围。
+
+Cua 当前只提供 Windows x64 插件，采用上游已有的窗口观察与输入能力。需要前台输入时，先激活并核实目标窗口，再执行一次输入，保持目标在前台供后续观察和录像；只读观察不会主动抢焦点。它不提供与用户前台操作互不干扰的执行环境；操作期间请避免同时切换或使用同一桌面。浏览器复杂页面、多显示器及不同 DPI 的覆盖范围以市场验证记录为准。

 ## 安装和配置

@@ -124,4 +126,4 @@ HTTP 服务使用 `{"transport":"streamable_http","url":"https://example.com/mcp
 | `ARTEMIS_PLUGIN_EXTRACT_MAX_BYTES` | 512 MiB |
 | `ARTEMIS_PLUGIN_RESULT_MAX_BYTES` | 16 MiB |

-修改环境参数后重启开发版服务。任务总时限仍由现有执行保护控制，插件不会自行无限重试。
+修改环境参数后重启 ARTEMIS 服务。任务总时限仍由现有执行保护控制，插件不会自行无限重试。
@@ -0,0 +1,119 @@
+# ARTEMIS-Eapil 2.0.0
+
+2.0.0 让 ARTEMIS 从手机自动化扩展到可以边交流、边探索的跨端测试。流程还没想清楚时，可以先与 AI 一起跑通；测试中需要操作电脑时，可以按需调用插件；验证成功的流程可以保存成用例或收藏，供以后快速复跑。
+
+以下列出相对 **1.5.2 正式版** 的主要变化。原有批量循环、勾选导入、人工复验和报告能力继续保留。
+
+## 一、探索模式：先把复杂流程跑通，再生成用例
+
+首页现在可以直接选择三种模式：
+
+| 模式 | 适合什么任务 | 使用方式 |
+| --- | --- | --- |
+| Flash | 流程和预期已经明确，希望直接执行 | 写清目标与预期，AI 连续操作，结束后验收 |
+| Pro | 有分支、多个阶段或需要先规划的复杂任务 | AI 先规划，再执行和核验 |
+| 探索 | 只知道大致目标，需要边试边沟通 | 随时指导 AI、回答问题，也可以亲自示范，成功后提炼一个可复用用例 |
+
+- **直接在任务里交流**：消息、操作步骤和示范记录按时间排列；底部输入框始终用于指导当前任务。Flash/Pro 也可补充指导，无需另建任务。
+- **等待状态更明确**：AI 需要回答时显示“等待你回答”，人工接管时依次显示准备录制、录制中、分析中，避免把等待误认为仍在自动操作。
+- **支持“我来操作”**：暂停 AI，录制手机、电脑或双来源示范；操作完成后分析实际录像，再继续探索。看不到的操作不会凭空补写。
+- **探索可以暂停和继续**：默认每段主动执行 1800 秒，等待回答与人工示范不计入；到时保存进度并暂停，不因这一时限直接判失败。设备连接中断也会保留指导，待设备恢复后继续。
+- **新指导优先执行**：例如“先回到主页再结束”，需要实际完成操作后才能验收，不能直接把任务结束。
+- **成功后产出一个用例**：包含目标、前置条件、操作路径和通过标准；可查看、编辑、保存版本，复制提示词，用 Flash/Pro 复跑，或加入批次草稿。提炼失败可单独重试，不改变已取得的测试结论。
+- **复跑与探索分开记录**：复跑使用保存的用例版本，不继承“询问用户、录制示范、生成用例”等探索收尾动作；放弃的非活动探索可删除。
+- **模型配置独立**：探索默认 `gpt-6.1-sol / high`，支持预设或自定义模型，不影响 Flash/Pro 的默认配置。
+
+详见 [探索模式使用说明](../exploration-mode.md)。
+
+## 二、插件扩展：手机测试中按需操作电脑
+
+新增独立的「插件」页面和官方插件市场。安装并启用插件后，照常描述测试流程，AI 会根据需要加载工具。例如：“在电脑上修改路由器参数，再到手机验证结果”。普通安卓任务无需先拼装执行目标或创建连接名称。
+
+- **安装 → 启用即可开始**：普通电脑插件不要求额外填写连接参数；只有确实需要参数的插件才显示设置表单。授权在本机保存。
+- **首批电脑能力使用 Cua**：提供窗口发现、截图、控件和像素点击、输入、按键、滚动、拖拽及截图保存；旧 OCU 已从市场下架，历史记录与旧安装不会被自动删除。
+- **配套适配修订为 `0.36.0+artemis.4`**：基础版本跟随上游 Cua Driver 0.36.0，后缀表示 ARTEMIS 适配修订。包含应用名查找、输入参数、截图缩放与坐标检查、窗口激活和前台焦点修复。
+- **避免对着旧图操作**：窗口移动、缩放、换屏或截图编号失效时，需要重新观察；坐标越界会在输入前拒绝，不盲目派发点击或滚动。
+- **同一资源有统一调度**：手机、桌面和插件共享任务队列与资源保护。执行中的插件版本固定，避免运行一半被升级或卸载；结果不确定的写操作不会自动重发。
+- **为后续扩展留出统一接口**：支持标准 MCP 服务与包内 Skill，通过适配接入 ARTEMIS 的步骤、结果和证据体系；新增终端、API 等能力需要对应插件，不代表本版已内置所有类型。
+
+**电脑插件当前适用于 Windows x64，并保留预览标识。需要前台输入时会占用用户桌面，不提供与用户操作互不干扰的后台环境。** 实测范围和未覆盖场景在市场及插件验证记录中列明；主程序正式发布不等于所有第三方插件或桌面场景均已稳定。
+
+详见 [插件使用说明](../plugins.md) 与 [插件开发规范](../plugin-development.md)。
+
+## 三、步骤、截图和录像统一留档
+
+- **分清证据来自哪里**：步骤标明安卓、电脑等来源，并保留工具实际结果；电脑动作使用电脑截图，不能拿手机画面代替。
+- **支持跨端录像切换**：开启录屏后，按实际来源保存安卓、电脑和人工示范片段；Windows 窗口录像改用适合硬件加速窗口的采集方式，修复部分浏览器录成黑屏的问题。
+- **播放时跳过未录制时段**：保留真实任务时间轴和缺口标记，连续播放跳到下一段；定位到没有录像的步骤时明确提示缺失，不借用其他时间的画面。
+- **减少无用录制**：进入只读最终验收前停止录屏，模型等待、验收重试和用例提炼不继续录入空白时长；若恢复操作，再追加片段。
+- **提供轻量留档设置**：默认长边 1280、15 fps；支持 H.265，并在编码器或浏览器不支持时按配置回退 H.264。留档参数不降低模型观察截图的分辨率。
+- **安卓文件工具补齐**：可保存手机原生截图、列目录、读写文本、传输文件。默认保存在当前任务资料目录；明确要求桌面时额外复制，并返回真实位置、大小与校验结果，遵守 Android 原有访问权限。
+- **下载目录更完整**：录像分为安卓、电脑、人工示范；生成文件按来源归档，并有统一证据索引。旧任务没有录到的画面无法事后补录。
+
+## 四、精选任务：把常用测试留在首页
+
+首页原有“推荐任务”改为来自用户收藏的“精选任务”。
+
+- 在任务、历史、报告或批次标题开头点击星标，即可收藏；批次中的单项也可以单独保存。
+- 收藏保存独立模板，删除原任务不影响以后复跑；每次运行都会生成新任务，不改写原记录。
+- 默认沿用收藏时的设备、模式、模型、思考强度等配置；展开卡片可以临时调整，也可以保存新的默认配置。
+- 批次保留用例顺序、循环次数和失败停止策略；探索支持收藏已生成用例，也可以保存为新的探索入口。
+- 老任务缺失的配置会优先根据实际执行记录还原，其余字段自动补齐并保存；设备离线时明确要求选择可用设备。
+- 统一卡片尺寸、模型选择和运行入口，减少重复填写。
+
+## 五、MCP 与官方 artemis-use Skill
+
+- **MCP 只连接用户启动的主程序**：先运行 ARTEMIS，再由 Codex 调用。每个 Agent 会话只保留轻量连接，不再各自启动完整后台，减少重复实例和内存占用。
+- **主程序离线不再阻断 Codex 会话**：MCP 仍可完成握手，调用时提示先启动 ARTEMIS；主程序启动后可重新连接。
+- **覆盖 2.0 常用操作**：支持探索对话与示范、用例复跑、收藏、批次、任务暂停继续、指导、状态查询、报告导出，以及读取请求、用量、日志和证据来复盘。
+- **减少重复提交**：提交请求使用稳定编号；断线后可以先反查任务，不把网络重试变成重复跑业务用例。
+- **启动时安装或更新官方 `artemis-use` Skill**：包含 Flash/Pro/探索说明、执行与报告交付、任务排查复盘、插件开发规则和模板。官方同名目录由 ARTEMIS 维护并覆盖更新。
+- **保护 Codex 配置**：保留已有工具白名单、禁用状态与审批策略，不再错误重建权限表生成非法 TOML；同步异常会告警并保留原文件，网页仍可启动。
+
+详见 [AI 接入指南](../ai-automation.md)。
+
+## 六、减少重复模型调用，并让用量可追踪
+
+- Flash、Pro 和探索持续保留多轮工具历史，固定规则与工具说明尽量维持稳定前缀，避免每次重建成全新请求。
+- 使用稳定的会话缓存键与请求头，方便支持缓存的 API 网关把连续请求路由到同一上下文。
+- 压缩较长历史时保留关键文件回执、路径和校验信息，减少过密的历史摘要与重复视觉摘要；长插件输出可按需分页读取，完整证据仍在任务目录。
+- 连续电脑操作不再反复附带无关手机截图；切回手机或用户接管后先刷新画面，再决定下一步。
+- 跨端阶段按任务要求推进，避免只读预检演变成整段跨端执行后又返回补做；纯观察不机械触发计划更新。
+- **单次上下文参照上限调整为 300k**，避免按 1M 上限无限累积；这是单次上下文限制，不是整条任务的累计 token 限额。
+- 用量记录区分总输入、缓存输入、输出和模型角色；缓存率以 API 实际返回的 `cached_tokens / input_tokens` 加权统计，不承诺固定命中率或固定费用降幅。
+- 新增请求阶段、发送时间、首个事件、工具参数生成、重试和结束原因等诊断，使用请求编号对照 API 日志；小型动作参数异常膨胀时会有界终止，避免一直生成到超时。
+
+## 七、验收结论更可靠，等待原因更清楚
+
+- 继续区分“执行结束”和“测试通过”；最终验收核对任务要求、用户指导、步骤、截图和文件回执，保留通过、不通过、未验证、阻塞等真实结果。
+- 最终报告与实际保存的正文保持一致；Checker 可依据明确证据修正局部事实，保留原稿与修改依据，不抹除真实失败。
+- 完整有效的结构化结论直接校验，减少仅为改写格式再调用一次模型；不完整或截断输出不能当成通过。
+- **修复操作做完后验收被提前掐断的问题**：最终验收使用独立总时间预算，按模型请求超时和重试配置分配，不再套用中间检查点的 180 秒时限；任务本身的执行时限仍生效。
+- 页面显示正在准备或核对证据、整理结论、校验完整性，以及已用时间、剩余预算、请求和重试次数。
+- 请求超时只重试失败的模型请求，沿用已取得的工具证据；重试或总预算耗尽后明确标为未验证，不无限等待，也不自动重跑设备业务。
+- 用户停止或探索新指导触发的中断会单独记录；半截流式输出会丢弃，避免一度显示“通过”后又被判为未完成。
+- 网页任务摘要、结论和报告支持更清晰的 Markdown 呈现；队列状态与模式徽标统一高度，增加探索/Flash/Pro 标记，修复刷新时面板跳动等体验问题。
+
+## 八、启动、设备与资料下载优化
+
+- 安卓应用通过包管理器解析桌面入口，再用 `am start -W` 启动，不再要求模拟器必须内置 `monkey`；检查退出码、错误输出和真实前台状态，避免把命令失败误报成反复启动超时。
+- 加强设备观测失败、探索中断和资源回收处理；恢复时重新观察，不继续使用过期控件或旧画面。
+- 优化配置、任务列表与多标签页加载：可见页面共享实时连接，后台页面暂停无用订阅，减少旧长连接拖慢页面和重复请求堆积。
+- “下载全部资料”复用未变化的终态报告和资料包；资料或人工复验发生变化时重新生成。已压缩的图片、视频和 Office 文档不重复压缩，提升单任务及批次打包速度。
+- 升级继续使用独立 `update.bat` / `update-cn.bat`，源码更新只做快进并保护本地修改、环境配置和历史；本版同时修复相关 Codex 同步兼容问题。
+
+## 升级与开始使用
+
+1. 先结束正在运行的任务，再运行项目中的 `update.bat`；国内网络运行 `update-cn.bat`。升级会停止当前项目的 ARTEMIS 服务和任务进程。
+2. 升级完成后重新运行 `start.bat` / `start-cn.bat`，等待依赖同步和网页构建结束。启动脚本只检查更新，实际源码更新由独立升级脚本完成。
+3. 刷新或重新打开 ARTEMIS 网页；在 Codex 中重载 MCP，Skill 未显示时重启 Codex。首次同步会安装官方 `artemis-use`。
+4. 需要电脑能力时，在「插件」页面安装或更新 Cua，确认授权并启用。**升级主程序不会自动升级已安装插件**；旧 OCU 用户可安装 Cua 后再停用 OCU。
+5. 新安装普通任务默认 `gpt-6-luna / high`，探索默认 `gpt-6.1-sol / high`；已保存配置保留。首页、兜底模型与精选任务均支持统一的预设/自定义选择；`gpt-5.6-luna`、`mimo-v2.6-flash` 从预设移除，但仍可作为自定义名称填写。模型实际可用性取决于所配置 API。
+
+发行附件 `artemis-eapil-2.0.0-source.zip` 是可更新的源码包，解压后使用启动脚本准备环境；保留浅层 Git 更新能力，不包含用户密钥、任务历史、依赖环境或预编译网页。`SHA256SUMS.txt` 用于校验下载完整性。
+
+本版仍以真实证据判断测试结果。模型、网关、设备和第三方页面会影响具体任务表现；未覆盖的平台、缺失的历史画面或证据不足的断言不会被自动标成通过。
+
+## 发布验证
+
+默认后端测试 2926 项通过，2 项跳过，8 项按标记排除；前端 289 项通过，生产构建成功。Ruff 检查、格式检查、质量基线与核心类型检查通过。配套 Cua 适配器的 Go 测试、vet、安装包一致性、MCP 工具声明及公开市场下载/安装检查通过；桌面业务验证范围另见插件验证记录。本次发布未重新执行付费模型业务测试，也未替用户重启正在运行的服务。