Files
Artemis-Eapil/docs/releases/2.0.0.md

14 KiB
Raw Permalink Blame History

ARTEMIS-Eapil 2.0.0

2.0.0 让 ARTEMIS 从手机自动化扩展到可以边交流、边探索的跨端测试。流程还没想清楚时,可以先与 AI 一起跑通;测试中需要操作电脑时,可以按需调用插件;验证成功的流程可以保存成用例或收藏,供以后快速复跑。

以下列出相对 1.5.2 正式版 的主要变化。原有批量循环、勾选导入、人工复验和报告能力继续保留。

一、探索模式:先把复杂流程跑通,再生成用例

首页现在可以直接选择三种模式:

模式 适合什么任务 使用方式
Flash 流程和预期已经明确,希望直接执行 写清目标与预期,AI 连续操作,结束后验收
Pro 有分支、多个阶段或需要先规划的复杂任务 AI 先规划,再执行和核验
探索 只知道大致目标,需要边试边沟通 随时指导 AI、回答问题,也可以亲自示范,成功后提炼一个可复用用例
  • 直接在任务里交流:消息、操作步骤和示范记录按时间排列;底部输入框始终用于指导当前任务。Flash/Pro 也可补充指导,无需另建任务。
  • 等待状态更明确:AI 需要回答时显示“等待你回答”,人工接管时依次显示准备录制、录制中、分析中,避免把等待误认为仍在自动操作。
  • 支持“我来操作”:暂停 AI,录制手机、电脑或双来源示范;操作完成后分析实际录像,再继续探索。看不到的操作不会凭空补写。
  • 探索可以暂停和继续:默认每段主动执行 1800 秒,等待回答与人工示范不计入;到时保存进度并暂停,不因这一时限直接判失败。设备连接中断也会保留指导,待设备恢复后继续。
  • 新指导优先执行:例如“先回到主页再结束”,需要实际完成操作后才能验收,不能直接把任务结束。
  • 成功后产出一个用例:包含目标、前置条件、操作路径和通过标准;可查看、编辑、保存版本,复制提示词,用 Flash/Pro 复跑,或加入批次草稿。提炼失败可单独重试,不改变已取得的测试结论。
  • 复跑与探索分开记录:复跑使用保存的用例版本,不继承“询问用户、录制示范、生成用例”等探索收尾动作;放弃的非活动探索可删除。
  • 模型配置独立:探索默认 gpt-6.1-sol / high,支持预设或自定义模型,不影响 Flash/Pro 的默认配置。

详见 探索模式使用说明。

二、插件扩展:手机测试中按需操作电脑

新增独立的「插件」页面和官方插件市场。安装并启用插件后,照常描述测试流程,AI 会根据需要加载工具。例如:“在电脑上修改路由器参数,再到手机验证结果”。普通安卓任务无需先拼装执行目标或创建连接名称。

  • 安装 → 启用即可开始:普通电脑插件不要求额外填写连接参数;只有确实需要参数的插件才显示设置表单。授权在本机保存。
  • 首批电脑能力使用 Cua:提供窗口发现、截图、控件和像素点击、输入、按键、滚动、拖拽及截图保存;旧 OCU 已从市场下架,历史记录与旧安装不会被自动删除。
  • 配套适配修订为 0.36.0+artemis.4:基础版本跟随上游 Cua Driver 0.36.0,后缀表示 ARTEMIS 适配修订。包含应用名查找、输入参数、截图缩放与坐标检查、窗口激活和前台焦点修复。
  • 避免对着旧图操作:窗口移动、缩放、换屏或截图编号失效时,需要重新观察;坐标越界会在输入前拒绝,不盲目派发点击或滚动。
  • 同一资源有统一调度:手机、桌面和插件共享任务队列与资源保护。执行中的插件版本固定,避免运行一半被升级或卸载;结果不确定的写操作不会自动重发。
  • 为后续扩展留出统一接口:支持标准 MCP 服务与包内 Skill,通过适配接入 ARTEMIS 的步骤、结果和证据体系;新增终端、API 等能力需要对应插件,不代表本版已内置所有类型。

电脑插件当前适用于 Windows x64,并保留预览标识。需要前台输入时会占用用户桌面,不提供与用户操作互不干扰的后台环境。 实测范围和未覆盖场景在市场及插件验证记录中列明;主程序正式发布不等于所有第三方插件或桌面场景均已稳定。

详见 插件使用说明 与 插件开发规范。

三、步骤、截图和录像统一留档

  • 分清证据来自哪里:步骤标明安卓、电脑等来源,并保留工具实际结果;电脑动作使用电脑截图,不能拿手机画面代替。
  • 支持跨端录像切换:开启录屏后,按实际来源保存安卓、电脑和人工示范片段;Windows 窗口录像改用适合硬件加速窗口的采集方式,修复部分浏览器录成黑屏的问题。
  • 播放时跳过未录制时段:保留真实任务时间轴和缺口标记,连续播放跳到下一段;定位到没有录像的步骤时明确提示缺失,不借用其他时间的画面。
  • 减少无用录制:进入只读最终验收前停止录屏,模型等待、验收重试和用例提炼不继续录入空白时长;若恢复操作,再追加片段。
  • 提供轻量留档设置:默认长边 1280、15 fps;支持 H.265,并在编码器或浏览器不支持时按配置回退 H.264。留档参数不降低模型观察截图的分辨率。
  • 安卓文件工具补齐:可保存手机原生截图、列目录、读写文本、传输文件。默认保存在当前任务资料目录;明确要求桌面时额外复制,并返回真实位置、大小与校验结果,遵守 Android 原有访问权限。
  • 下载目录更完整:录像分为安卓、电脑、人工示范;生成文件按来源归档,并有统一证据索引。旧任务没有录到的画面无法事后补录。

四、精选任务:把常用测试留在首页

首页原有“推荐任务”改为来自用户收藏的“精选任务”。

  • 在任务、历史、报告或批次标题开头点击星标,即可收藏;批次中的单项也可以单独保存。
  • 收藏保存独立模板,删除原任务不影响以后复跑;每次运行都会生成新任务,不改写原记录。
  • 默认沿用收藏时的设备、模式、模型、思考强度等配置;展开卡片可以临时调整,也可以保存新的默认配置。
  • 批次保留用例顺序、循环次数和失败停止策略;探索支持收藏已生成用例,也可以保存为新的探索入口。
  • 老任务缺失的配置会优先根据实际执行记录还原,其余字段自动补齐并保存;设备离线时明确要求选择可用设备。
  • 统一卡片尺寸、模型选择和运行入口,减少重复填写。

五、MCP 与官方 artemis-use Skill

  • MCP 只连接用户启动的主程序:先运行 ARTEMIS,再由 Codex 调用。每个 Agent 会话只保留轻量连接,不再各自启动完整后台,减少重复实例和内存占用。
  • 主程序离线不再阻断 Codex 会话:MCP 仍可完成握手,调用时提示先启动 ARTEMIS;主程序启动后可重新连接。
  • 覆盖 2.0 常用操作:支持探索对话与示范、用例复跑、收藏、批次、任务暂停继续、指导、状态查询、报告导出,以及读取请求、用量、日志和证据来复盘。
  • 减少重复提交:提交请求使用稳定编号;断线后可以先反查任务,不把网络重试变成重复跑业务用例。
  • 启动时安装或更新官方 artemis-use Skill:包含 Flash/Pro/探索说明、执行与报告交付、任务排查复盘、插件开发规则和模板。官方同名目录由 ARTEMIS 维护并覆盖更新。
  • 保护 Codex 配置:保留已有工具白名单、禁用状态与审批策略,不再错误重建权限表生成非法 TOML;同步异常会告警并保留原文件,网页仍可启动。

详见 AI 接入指南。

六、减少重复模型调用,并让用量可追踪

  • Flash、Pro 和探索持续保留多轮工具历史,固定规则与工具说明尽量维持稳定前缀,避免每次重建成全新请求。
  • 使用稳定的会话缓存键与请求头,方便支持缓存的 API 网关把连续请求路由到同一上下文。
  • 压缩较长历史时保留关键文件回执、路径和校验信息,减少过密的历史摘要与重复视觉摘要;长插件输出可按需分页读取,完整证据仍在任务目录。
  • 连续电脑操作不再反复附带无关手机截图;切回手机或用户接管后先刷新画面,再决定下一步。
  • 跨端阶段按任务要求推进,避免只读预检演变成整段跨端执行后又返回补做;纯观察不机械触发计划更新。
  • 单次上下文参照上限调整为 300k,避免按 1M 上限无限累积;这是单次上下文限制,不是整条任务的累计 token 限额。
  • 用量记录区分总输入、缓存输入、输出和模型角色;缓存率以 API 实际返回的 cached_tokens / input_tokens 加权统计,不承诺固定命中率或固定费用降幅。
  • 新增请求阶段、发送时间、首个事件、工具参数生成、重试和结束原因等诊断,使用请求编号对照 API 日志;小型动作参数异常膨胀时会有界终止,避免一直生成到超时。

七、验收结论更可靠,等待原因更清楚

  • 继续区分“执行结束”和“测试通过”;最终验收核对任务要求、用户指导、步骤、截图和文件回执,保留通过、不通过、未验证、阻塞等真实结果。
  • 最终报告与实际保存的正文保持一致;Checker 可依据明确证据修正局部事实,保留原稿与修改依据,不抹除真实失败。
  • 完整有效的结构化结论直接校验,减少仅为改写格式再调用一次模型;不完整或截断输出不能当成通过。
  • 修复操作做完后验收被提前掐断的问题:最终验收使用独立总时间预算,按模型请求超时和重试配置分配,不再套用中间检查点的 180 秒时限;任务本身的执行时限仍生效。
  • 页面显示正在准备或核对证据、整理结论、校验完整性,以及已用时间、剩余预算、请求和重试次数。
  • 请求超时只重试失败的模型请求,沿用已取得的工具证据;重试或总预算耗尽后明确标为未验证,不无限等待,也不自动重跑设备业务。
  • 用户停止或探索新指导触发的中断会单独记录;半截流式输出会丢弃,避免一度显示“通过”后又被判为未完成。
  • 网页任务摘要、结论和报告支持更清晰的 Markdown 呈现;队列状态与模式徽标统一高度,增加探索/Flash/Pro 标记,修复刷新时面板跳动等体验问题。

八、启动、设备与资料下载优化

  • 安卓应用通过包管理器解析桌面入口,再用 am start -W 启动,不再要求模拟器必须内置 monkey;检查退出码、错误输出和真实前台状态,避免把命令失败误报成反复启动超时。
  • 加强设备观测失败、探索中断和资源回收处理;恢复时重新观察,不继续使用过期控件或旧画面。
  • 优化配置、任务列表与多标签页加载:可见页面共享实时连接,后台页面暂停无用订阅,减少旧长连接拖慢页面和重复请求堆积。
  • “下载全部资料”复用未变化的终态报告和资料包;资料或人工复验发生变化时重新生成。已压缩的图片、视频和 Office 文档不重复压缩,提升单任务及批次打包速度。
  • 升级继续使用独立 update.bat / update-cn.bat,源码更新只做快进并保护本地修改、环境配置和历史;本版同时修复相关 Codex 同步兼容问题。

升级与开始使用

  1. 先结束正在运行的任务,再运行项目中的 update.bat;国内网络运行 update-cn.bat。升级会停止当前项目的 ARTEMIS 服务和任务进程。
  2. 升级完成后重新运行 start.bat / start-cn.bat,等待依赖同步和网页构建结束。启动脚本只检查更新,实际源码更新由独立升级脚本完成。
  3. 刷新或重新打开 ARTEMIS 网页;在 Codex 中重载 MCP,Skill 未显示时重启 Codex。首次同步会安装官方 artemis-use。
  4. 需要电脑能力时,在「插件」页面安装或更新 Cua,确认授权并启用。升级主程序不会自动升级已安装插件;旧 OCU 用户可安装 Cua 后再停用 OCU。
  5. 新安装普通任务默认 gpt-6-luna / high,探索默认 gpt-6.1-sol / high;已保存配置保留。首页、兜底模型与精选任务均支持统一的预设/自定义选择;gpt-5.6-luna、mimo-v2.6-flash 从预设移除,但仍可作为自定义名称填写。模型实际可用性取决于所配置 API。

发行附件 artemis-eapil-2.0.0-source.zip 是可更新的源码包,解压后使用启动脚本准备环境;保留浅层 Git 更新能力,不包含用户密钥、任务历史、依赖环境或预编译网页。SHA256SUMS.txt 用于校验下载完整性。

本版仍以真实证据判断测试结果。模型、网关、设备和第三方页面会影响具体任务表现;未覆盖的平台、缺失的历史画面或证据不足的断言不会被自动标成通过。

发布验证

默认后端测试 2926 项通过,2 项跳过,8 项按标记排除;前端 289 项通过,生产构建成功。Ruff 检查、格式检查、质量基线与核心类型检查通过。配套 Cua 适配器的 Go 测试、vet、安装包一致性、MCP 工具声明及公开市场下载/安装检查通过;桌面业务验证范围另见插件验证记录。本次发布未重新执行付费模型业务测试,也未替用户重启正在运行的服务。