fix: improve cross-device evidence, request diagnostics and prompt efficiency
This commit is contained in:
1 parent
621f30e437
commit
a66803651a
60 files changed
+3097
-160
No files matched your search
@@ -10,12 +10,24 @@
|
||||
|
||||
“执行完成”与测试结论分开记录。预期直接写在任务提示词中即可;Flash 和 Pro 默认用只读终检核对提示词、用户指导、执行结论及实际证据,不增加必填表单。任务列表显式标注“测试通过 / 测试不通过 / 未验证 / 测试阻塞”,结果区域和 Word/Excel 同时列出判定依据及证据。终检关闭、出错或缺少证据时显示“未验证”,设备或执行异常不当作产品缺陷;已确认的断言失败会保留。正在执行的任务也可以下载,但文件只代表下载时的快照。
|
||||
|
||||
终检已输出完整且符合结构的结论时,直接校验并保存,不额外请求模型改写格式;若兼容接口把 `test_result` 编码为 JSON 字符串,会先解码再按同一规则校验。普通说明文字、被截断的输出、缺少检查项或证据的结果不会直接算通过。判定范围以提示词为准:明确要求“发现并如实报告问题、不要求无缺陷”的检查任务通过,不表示被测产品没有缺陷。
|
||||
|
||||
报告由项目自己的 `python-docx`、`openpyxl` 生成,不依赖 Codex 客户端的私有工具。输出保存在 `artifacts/reports/`。
|
||||
|
||||
任务结束后,可在“用例测试结果”中点击“人工复验”,确认通过或不通过,备注选填。复验会保留原 AI 结论和历次复验记录,不改变任务的执行状态。任务队列、单任务报告和批次汇总采用最近一次人工结论,标明“人工确认”;未复验的结论标明“AI确认”。复验后下载的报告包会重新生成。
|
||||
|
||||
任务队列的“任务范围”可筛选全部批量任务、单独任务或指定批次,日期、搜索和状态筛选可同时使用。点击批次内的用例会在左侧打开执行记录,右侧保留批次列表;可用“在任务队列查看此批次”集中查看,进入单任务报告后也可返回原批次。
|
||||
|
||||
## 模型请求等待与排查
|
||||
|
||||
执行记录显示正在等待服务响应、等待有效输出、生成工具参数、接收输出或等待重试,并显示本次请求耗时和超时上限。生成工具参数时显示工具名、累计参数字符数和最后输出距今时间,此时本次工具尚未执行。HTTP 200 只表示服务开始响应,不代表模型输出完整或设备动作已执行。并行的执行、检查、步骤整理请求分别标记;兜底模型明确标注。网络中断导致诊断更新失败时,页面会提示当前展示的是上次记录。
|
||||
|
||||
展开“模型请求诊断”可查看最近 100 次尝试的模型、思考强度、本地请求编号、尝试编号、服务端请求编号(如有)、开始/响应头/首个有效输出/最后输出/结束时间,以及错误类型、阶段、图片数量与尺寸和服务报告的 token 用量。有效输出片段按客户端接收计数,与服务端 SSE 事件数口径不同;工具参数只记录字符数和工具名,不保存参数正文。输出 token 上限来自该调用的 `max_tokens` 配置,未设置时明确标注由服务决定;它与 300k 上下文限制不同。未报告的用量显示“未知”;旧任务未记录的字段无法补推。页面按本机时区显示,完整 JSON 同时保留 Unix 秒和 UTC 时间,方便与服务端日志对照。
|
||||
|
||||
诊断可单独下载,也会收录到单任务“全部资料”和批次 ZIP 各任务目录的 `模型请求诊断.json`。请求状态复用任务 trace 数据库,每次尝试一条记录;同一阶段的流式更新至多每 5 秒保存一次,阶段变化立即记录,不额外调用模型、抓取屏幕或记录认证头。强制退出导致缺少结束事件时保留最后阶段,不推断为成功。
|
||||
|
||||
探索模式将固定规则放在上下文前部,用户指导变更追加到历史末尾;AI 进度消息计数不再改写前缀。同一次探索恢复后沿用按探索、角色与模型生成的 `prompt_cache_key`,该哈希值也写入请求诊断,便于核对路由。缓存仍取决于服务端的支持和实际命中,不能视为已节省的 token。输入总量包含缓存输入,不能重复相加;结构化调用也按原始响应的 usage 计量一次,旧任务中漏计的用量不会自动回填。300k 是单次上下文限制,并非整个任务累计预算。
|
||||
|
||||
## Excel 批量导入
|
||||
|
||||
1. 点击“下载 Excel 模板”,保留“任务”工作表及表头顺序。
|
||||
|
||||
Reference in new issue
Block a user