目标： 基于核心业务场景，构建覆盖主要意图的标注评测集，用于模型选型、Prompt 调优和上线验收的效果度量。
（一）评测集设计原则
场景覆盖：覆盖高频咨询场景（售前、售中、售后），确保主要意图均有样本
难度分层：包含简单事实型问题、多轮对话、模糊/歧义问题、边界 case
标注规范：每条数据包含用户输入、期望回复、所需工具调用、评测维度标签
数量建议：初始评测集 200-500 条，每个核心场景至少 30 条
（二）场景分类与样本分布
| 场景大类 |
子场景 |
目标样本数 |
难度 |
| 售前咨询 |
商品参数/规格查询 |
40 |
简单 |
| 售前咨询 |
商品对比/推荐 |
30 |
中等 |
| 售前咨询 |
优惠活动/满减规则 |
30 |
中等 |
| 售中咨询 |
订单状态查询 |
40 |
简单 |
| 售中咨询 |
物流进度查询 |
30 |
简单 |
| 售中咨询 |
修改订单/地址 |
30 |
中等 |
| 售后咨询 |
退换货流程 |
40 |
中等 |
| 售后咨询 |
退款进度查询 |
30 |
简单 |
| 售后咨询 |
投诉/情绪激动 |
30 |
困难 |
| 边界场景 |
超出服务范围 / 闲聊 / 敏感话题 |
30 |
困难 |
（三）评测数据示例
示例 1：售前咨询 — 商品参数查询
| 字段 |
内容 |
| 用户输入 |
这款蓝牙耳机支持降噪吗？续航多久？ |
| 期望回复 |
这款耳机支持主动降噪（ANC），开启降噪模式续航约 6 小时，关闭降噪续航约 8 小时，搭配充电盒总续航可达 30 小时。 |
| 所需工具 |
商品知识库检索 |
| 评测维度 |
事实准确性、信息完整性 |
| 难度 |
简单 |
示例 2：售中咨询 — 订单状态查询
| 字段 |
内容 |
| 用户输入 |
我的订单 2024031500128 到哪了？什么时候能到？ |
| 期望回复 |
您的订单 2024031500128 当前状态为「运输中」，已由顺丰快递揽件，快递单号 SF1234567890，预计明天（3月17日）送达。您可以点击这里查看实时物流。 |
| 所需工具 |
订单查询 API → 物流查询 API |
| 评测维度 |
工具调用准确性、信息完整性、时间预估合理性 |
| 难度 |
简单 |
示例 3：售后咨询 — 退换货流程
| 字段 |
内容 |
| 用户输入 |
衣服收到了但尺码不对，怎么换？我已经洗过了还能换吗？ |
| 期望回复 |
非常抱歉给您带来不便。关于换货：如商品已洗涤，根据我们的退换货政策，已洗涤商品暂不支持换货。但如果是因为我们发错尺码导致的问题，您可以提供收到商品的照片，我帮您申请特殊换货处理。请问是我们发错尺码了吗？ |
| 所需工具 |
退换货政策知识库检索 → 订单查询 API |
| 评测维度 |
政策准确性、情感安抚、多条件判断、追问引导 |
| 难度 |
中等 |
示例 4：边界场景 — 情绪激动 + 转人工
| 字段 |
内容 |
| 用户输入 |
你们什么破平台！退款都一个星期了还没到账，再不处理我就投诉到12315！ |
| 期望回复 |
非常抱歉让您久等了，我理解您的着急。我已帮您查询到退款单号 RF20240310023，目前状态为「银行处理中」，通常 1-3 个工作日到账。我现在为您转接人工客服，优先为您跟进处理，请稍等。 |
| 所需工具 |
退款查询 API → 转人工客服 |
| 评测维度 |
情绪识别、安抚话术、转人工判断准确性、信息查询准确性 |
| 难度 |
困难 |
示例 5：边界场景 — 超出服务范围
| 字段 |
内容 |
| 用户输入 |
帮我写一篇关于人工智能的论文吧 |
| 期望回复 |
不好意思，这个超出了我的服务范围啦 😊 我是您的购物小助手，可以帮您查询商品信息、订单状态、物流进度、退换货等问题。请问有什么购物相关的问题我可以帮您吗？ |
| 所需工具 |
无（直接兜底回复） |
| 评测维度 |
意图识别准确性、拒绝话术友好度、引导回正轨 |
| 难度 |
中等 |
4.4 评测维度与评分标准
| 评测维度 |
说明 |
权重 |
| 事实准确性 |
回复内容与知识库/API 返回信息一致，无虚构 |
30% |
| 信息完整性 |
是否覆盖用户提问的所有要点 |
20% |
| 工具调用准确性 |
是否正确触发所需工具，参数是否正确 |
20% |
| 语言表达 |
语句通顺、符合品牌调性、无敏感/违规内容 |
15% |
| 用户体验 |
情绪安抚、追问引导、转人工判断等交互质量 |
15% |
