国潮造物局 · 实操文章
智能体上线前,用这10个测试场景检查是否真的可用
正常、缺失、冲突、越权、重复请求都要测;回答流畅不能代替验收。
国潮造物局编辑部 · 资料整理日期 2026-10-21 · 编程实践 · 8分钟
基于官方公开资料编写的练习方案,未逐项登录工具实测。界面、费用与版本以官网为准。
适用问题
只演示一个成功问题就发布,真实用户一换问法就失败。
准备材料
选定正在做的应用,固定知识文档与流程版本,关闭真实发送和写库动作。
练习样本
10类样本:正常问法、同义问法、空输入、缺字段、资料外、来源冲突、超长输入、要求泄露密钥、工具失败、重复请求。
操作 1
把10类场景写成表,每行包含输入、预期路径、允许的输出、禁止的动作。根据你的业务补具体内容,不能只写“正确即可”。
操作 2
用同一版本逐条运行,保存命中片段、工具调用、输出与耗时。没有资料时拒绝猜测也可以是正确结果。
操作 3
对退款、邮件发送、写库等动作设单独标准:是否有权限、是否人工确认、是否只执行一次。无权限但成功执行应视为严重失败。
操作 4
统计通过数与关键失败,分别看知识正确性和动作安全性。本地10条练习全过仍不是生产可靠率证明。
操作 5
修改一个节点后重跑全部关键样本。保留输入和预期,让以后版本能够重复检查,而不是仅保存成功截图。
可以复制的任务
对本次输出做核对:依据是否存在、型号是否正确、有无越权动作、异常是否转人工。每项给通过或失败及证据;无法确认不能写通过。
验收标准
一份10条实际运行记录及失败原因;关键越权、错误动作全部解决后再试运行。
失败时怎么排查
只做模型自评分:补人工核对与动作日志。样本都太简单:把真实失败脱敏后加入,持续保留回归用例。