120 lines
14 KiB
Markdown
120 lines
14 KiB
Markdown
# ARTEMIS-Eapil 2.0.0
|
||
|
||
2.0.0 让 ARTEMIS 从手机自动化扩展到可以边交流、边探索的跨端测试。流程还没想清楚时，可以先与 AI 一起跑通；测试中需要操作电脑时，可以按需调用插件；验证成功的流程可以保存成用例或收藏，供以后快速复跑。
|
||
|
||
以下列出相对 **1.5.2 正式版** 的主要变化。原有批量循环、勾选导入、人工复验和报告能力继续保留。
|
||
|
||
## 一、探索模式：先把复杂流程跑通，再生成用例
|
||
|
||
首页现在可以直接选择三种模式：
|
||
|
||
| 模式 | 适合什么任务 | 使用方式 |
|
||
| --- | --- | --- |
|
||
| Flash | 流程和预期已经明确，希望直接执行 | 写清目标与预期，AI 连续操作，结束后验收 |
|
||
| Pro | 有分支、多个阶段或需要先规划的复杂任务 | AI 先规划，再执行和核验 |
|
||
| 探索 | 只知道大致目标，需要边试边沟通 | 随时指导 AI、回答问题，也可以亲自示范，成功后提炼一个可复用用例 |
|
||
|
||
- **直接在任务里交流**：消息、操作步骤和示范记录按时间排列；底部输入框始终用于指导当前任务。Flash/Pro 也可补充指导，无需另建任务。
|
||
- **等待状态更明确**：AI 需要回答时显示“等待你回答”，人工接管时依次显示准备录制、录制中、分析中，避免把等待误认为仍在自动操作。
|
||
- **支持“我来操作”**：暂停 AI，录制手机、电脑或双来源示范；操作完成后分析实际录像，再继续探索。看不到的操作不会凭空补写。
|
||
- **探索可以暂停和继续**：默认每段主动执行 1800 秒，等待回答与人工示范不计入；到时保存进度并暂停，不因这一时限直接判失败。设备连接中断也会保留指导，待设备恢复后继续。
|
||
- **新指导优先执行**：例如“先回到主页再结束”，需要实际完成操作后才能验收，不能直接把任务结束。
|
||
- **成功后产出一个用例**：包含目标、前置条件、操作路径和通过标准；可查看、编辑、保存版本，复制提示词，用 Flash/Pro 复跑，或加入批次草稿。提炼失败可单独重试，不改变已取得的测试结论。
|
||
- **复跑与探索分开记录**：复跑使用保存的用例版本，不继承“询问用户、录制示范、生成用例”等探索收尾动作；放弃的非活动探索可删除。
|
||
- **模型配置独立**：探索默认 `gpt-6.1-sol / high`，支持预设或自定义模型，不影响 Flash/Pro 的默认配置。
|
||
|
||
详见 [探索模式使用说明](../exploration-mode.md)。
|
||
|
||
## 二、插件扩展：手机测试中按需操作电脑
|
||
|
||
新增独立的「插件」页面和官方插件市场。安装并启用插件后，照常描述测试流程，AI 会根据需要加载工具。例如：“在电脑上修改路由器参数，再到手机验证结果”。普通安卓任务无需先拼装执行目标或创建连接名称。
|
||
|
||
- **安装 → 启用即可开始**：普通电脑插件不要求额外填写连接参数；只有确实需要参数的插件才显示设置表单。授权在本机保存。
|
||
- **首批电脑能力使用 Cua**：提供窗口发现、截图、控件和像素点击、输入、按键、滚动、拖拽及截图保存；旧 OCU 已从市场下架，历史记录与旧安装不会被自动删除。
|
||
- **配套适配修订为 `0.36.0+artemis.4`**：基础版本跟随上游 Cua Driver 0.36.0，后缀表示 ARTEMIS 适配修订。包含应用名查找、输入参数、截图缩放与坐标检查、窗口激活和前台焦点修复。
|
||
- **避免对着旧图操作**：窗口移动、缩放、换屏或截图编号失效时，需要重新观察；坐标越界会在输入前拒绝，不盲目派发点击或滚动。
|
||
- **同一资源有统一调度**：手机、桌面和插件共享任务队列与资源保护。执行中的插件版本固定，避免运行一半被升级或卸载；结果不确定的写操作不会自动重发。
|
||
- **为后续扩展留出统一接口**：支持标准 MCP 服务与包内 Skill，通过适配接入 ARTEMIS 的步骤、结果和证据体系；新增终端、API 等能力需要对应插件，不代表本版已内置所有类型。
|
||
|
||
**电脑插件当前适用于 Windows x64，并保留预览标识。需要前台输入时会占用用户桌面，不提供与用户操作互不干扰的后台环境。** 实测范围和未覆盖场景在市场及插件验证记录中列明；主程序正式发布不等于所有第三方插件或桌面场景均已稳定。
|
||
|
||
详见 [插件使用说明](../plugins.md) 与 [插件开发规范](../plugin-development.md)。
|
||
|
||
## 三、步骤、截图和录像统一留档
|
||
|
||
- **分清证据来自哪里**：步骤标明安卓、电脑等来源，并保留工具实际结果；电脑动作使用电脑截图，不能拿手机画面代替。
|
||
- **支持跨端录像切换**：开启录屏后，按实际来源保存安卓、电脑和人工示范片段；Windows 窗口录像改用适合硬件加速窗口的采集方式，修复部分浏览器录成黑屏的问题。
|
||
- **播放时跳过未录制时段**：保留真实任务时间轴和缺口标记，连续播放跳到下一段；定位到没有录像的步骤时明确提示缺失，不借用其他时间的画面。
|
||
- **减少无用录制**：进入只读最终验收前停止录屏，模型等待、验收重试和用例提炼不继续录入空白时长；若恢复操作，再追加片段。
|
||
- **提供轻量留档设置**：默认长边 1280、15 fps；支持 H.265，并在编码器或浏览器不支持时按配置回退 H.264。留档参数不降低模型观察截图的分辨率。
|
||
- **安卓文件工具补齐**：可保存手机原生截图、列目录、读写文本、传输文件。默认保存在当前任务资料目录；明确要求桌面时额外复制，并返回真实位置、大小与校验结果，遵守 Android 原有访问权限。
|
||
- **下载目录更完整**：录像分为安卓、电脑、人工示范；生成文件按来源归档，并有统一证据索引。旧任务没有录到的画面无法事后补录。
|
||
|
||
## 四、精选任务：把常用测试留在首页
|
||
|
||
首页原有“推荐任务”改为来自用户收藏的“精选任务”。
|
||
|
||
- 在任务、历史、报告或批次标题开头点击星标，即可收藏；批次中的单项也可以单独保存。
|
||
- 收藏保存独立模板，删除原任务不影响以后复跑；每次运行都会生成新任务，不改写原记录。
|
||
- 默认沿用收藏时的设备、模式、模型、思考强度等配置；展开卡片可以临时调整，也可以保存新的默认配置。
|
||
- 批次保留用例顺序、循环次数和失败停止策略；探索支持收藏已生成用例，也可以保存为新的探索入口。
|
||
- 老任务缺失的配置会优先根据实际执行记录还原，其余字段自动补齐并保存；设备离线时明确要求选择可用设备。
|
||
- 统一卡片尺寸、模型选择和运行入口，减少重复填写。
|
||
|
||
## 五、MCP 与官方 artemis-use Skill
|
||
|
||
- **MCP 只连接用户启动的主程序**：先运行 ARTEMIS，再由 Codex 调用。每个 Agent 会话只保留轻量连接，不再各自启动完整后台，减少重复实例和内存占用。
|
||
- **主程序离线不再阻断 Codex 会话**：MCP 仍可完成握手，调用时提示先启动 ARTEMIS；主程序启动后可重新连接。
|
||
- **覆盖 2.0 常用操作**：支持探索对话与示范、用例复跑、收藏、批次、任务暂停继续、指导、状态查询、报告导出，以及读取请求、用量、日志和证据来复盘。
|
||
- **减少重复提交**：提交请求使用稳定编号；断线后可以先反查任务，不把网络重试变成重复跑业务用例。
|
||
- **启动时安装或更新官方 `artemis-use` Skill**：包含 Flash/Pro/探索说明、执行与报告交付、任务排查复盘、插件开发规则和模板。官方同名目录由 ARTEMIS 维护并覆盖更新。
|
||
- **保护 Codex 配置**：保留已有工具白名单、禁用状态与审批策略，不再错误重建权限表生成非法 TOML；同步异常会告警并保留原文件，网页仍可启动。
|
||
|
||
详见 [AI 接入指南](../ai-automation.md)。
|
||
|
||
## 六、减少重复模型调用，并让用量可追踪
|
||
|
||
- Flash、Pro 和探索持续保留多轮工具历史，固定规则与工具说明尽量维持稳定前缀，避免每次重建成全新请求。
|
||
- 使用稳定的会话缓存键与请求头，方便支持缓存的 API 网关把连续请求路由到同一上下文。
|
||
- 压缩较长历史时保留关键文件回执、路径和校验信息，减少过密的历史摘要与重复视觉摘要；长插件输出可按需分页读取，完整证据仍在任务目录。
|
||
- 连续电脑操作不再反复附带无关手机截图；切回手机或用户接管后先刷新画面，再决定下一步。
|
||
- 跨端阶段按任务要求推进，避免只读预检演变成整段跨端执行后又返回补做；纯观察不机械触发计划更新。
|
||
- **单次上下文参照上限调整为 300k**，避免按 1M 上限无限累积；这是单次上下文限制，不是整条任务的累计 token 限额。
|
||
- 用量记录区分总输入、缓存输入、输出和模型角色；缓存率以 API 实际返回的 `cached_tokens / input_tokens` 加权统计，不承诺固定命中率或固定费用降幅。
|
||
- 新增请求阶段、发送时间、首个事件、工具参数生成、重试和结束原因等诊断，使用请求编号对照 API 日志；小型动作参数异常膨胀时会有界终止，避免一直生成到超时。
|
||
|
||
## 七、验收结论更可靠，等待原因更清楚
|
||
|
||
- 继续区分“执行结束”和“测试通过”；最终验收核对任务要求、用户指导、步骤、截图和文件回执，保留通过、不通过、未验证、阻塞等真实结果。
|
||
- 最终报告与实际保存的正文保持一致；Checker 可依据明确证据修正局部事实，保留原稿与修改依据，不抹除真实失败。
|
||
- 完整有效的结构化结论直接校验，减少仅为改写格式再调用一次模型；不完整或截断输出不能当成通过。
|
||
- **修复操作做完后验收被提前掐断的问题**：最终验收使用独立总时间预算，按模型请求超时和重试配置分配，不再套用中间检查点的 180 秒时限；任务本身的执行时限仍生效。
|
||
- 页面显示正在准备或核对证据、整理结论、校验完整性，以及已用时间、剩余预算、请求和重试次数。
|
||
- 请求超时只重试失败的模型请求，沿用已取得的工具证据；重试或总预算耗尽后明确标为未验证，不无限等待，也不自动重跑设备业务。
|
||
- 用户停止或探索新指导触发的中断会单独记录；半截流式输出会丢弃，避免一度显示“通过”后又被判为未完成。
|
||
- 网页任务摘要、结论和报告支持更清晰的 Markdown 呈现；队列状态与模式徽标统一高度，增加探索/Flash/Pro 标记，修复刷新时面板跳动等体验问题。
|
||
|
||
## 八、启动、设备与资料下载优化
|
||
|
||
- 安卓应用通过包管理器解析桌面入口，再用 `am start -W` 启动，不再要求模拟器必须内置 `monkey`；检查退出码、错误输出和真实前台状态，避免把命令失败误报成反复启动超时。
|
||
- 加强设备观测失败、探索中断和资源回收处理；恢复时重新观察，不继续使用过期控件或旧画面。
|
||
- 优化配置、任务列表与多标签页加载：可见页面共享实时连接，后台页面暂停无用订阅，减少旧长连接拖慢页面和重复请求堆积。
|
||
- “下载全部资料”复用未变化的终态报告和资料包；资料或人工复验发生变化时重新生成。已压缩的图片、视频和 Office 文档不重复压缩，提升单任务及批次打包速度。
|
||
- 升级继续使用独立 `update.bat` / `update-cn.bat`，源码更新只做快进并保护本地修改、环境配置和历史；本版同时修复相关 Codex 同步兼容问题。
|
||
|
||
## 升级与开始使用
|
||
|
||
1. 先结束正在运行的任务，再运行项目中的 `update.bat`；国内网络运行 `update-cn.bat`。升级会停止当前项目的 ARTEMIS 服务和任务进程。
|
||
2. 升级完成后重新运行 `start.bat` / `start-cn.bat`，等待依赖同步和网页构建结束。启动脚本只检查更新，实际源码更新由独立升级脚本完成。
|
||
3. 刷新或重新打开 ARTEMIS 网页；在 Codex 中重载 MCP，Skill 未显示时重启 Codex。首次同步会安装官方 `artemis-use`。
|
||
4. 需要电脑能力时，在「插件」页面安装或更新 Cua，确认授权并启用。**升级主程序不会自动升级已安装插件**；旧 OCU 用户可安装 Cua 后再停用 OCU。
|
||
5. 新安装普通任务默认 `gpt-6-luna / high`，探索默认 `gpt-6.1-sol / high`；已保存配置保留。首页、兜底模型与精选任务均支持统一的预设/自定义选择；`gpt-5.6-luna`、`mimo-v2.6-flash` 从预设移除，但仍可作为自定义名称填写。模型实际可用性取决于所配置 API。
|
||
|
||
发行附件 `artemis-eapil-2.0.0-source.zip` 是可更新的源码包，解压后使用启动脚本准备环境；保留浅层 Git 更新能力，不包含用户密钥、任务历史、依赖环境或预编译网页。`SHA256SUMS.txt` 用于校验下载完整性。
|
||
|
||
本版仍以真实证据判断测试结果。模型、网关、设备和第三方页面会影响具体任务表现；未覆盖的平台、缺失的历史画面或证据不足的断言不会被自动标成通过。
|
||
|
||
## 发布验证
|
||
|
||
默认后端测试 2926 项通过，2 项跳过，8 项按标记排除；前端 289 项通过，生产构建成功。Ruff 检查、格式检查、质量基线与核心类型检查通过。配套 Cua 适配器的 Go 测试、vet、安装包一致性、MCP 工具声明及公开市场下载/安装检查通过；桌面业务验证范围另见插件验证记录。本次发布未重新执行付费模型业务测试，也未替用户重启正在运行的服务。
|