**目标：** 基于核心业务场景，构建覆盖主要意图的标注评测集，用于模型选型、Prompt 调优和上线验收的效果度量。

## （一）评测集设计原则

-   **场景覆盖**：覆盖高频咨询场景（售前、售中、售后），确保主要意图均有样本
    
-   **难度分层**：包含简单事实型问题、多轮对话、模糊/歧义问题、边界 case
    
-   **标注规范**：每条数据包含用户输入、期望回复、所需工具调用、评测维度标签
    
-   **数量建议**：初始评测集 200-500 条，每个核心场景至少 30 条
    

## （二）场景分类与样本分布

| 场景大类 | 子场景 | 目标样本数 | 难度  |
| --- | --- | --- | --- |
| 售前咨询 | 商品参数/规格查询 | 40  | 简单  |
| 售前咨询 | 商品对比/推荐 | 30  | 中等  |
| 售前咨询 | 优惠活动/满减规则 | 30  | 中等  |
| 售中咨询 | 订单状态查询 | 40  | 简单  |
| 售中咨询 | 物流进度查询 | 30  | 简单  |
| 售中咨询 | 修改订单/地址 | 30  | 中等  |
| 售后咨询 | 退换货流程 | 40  | 中等  |
| 售后咨询 | 退款进度查询 | 30  | 简单  |
| 售后咨询 | 投诉/情绪激动 | 30  | 困难  |
| 边界场景 | 超出服务范围 / 闲聊 / 敏感话题 | 30  | 困难  |

## （三）评测数据示例

### 示例 1：售前咨询 — 商品参数查询

| 字段  | 内容  |
| --- | --- |
| **用户输入** | 这款蓝牙耳机支持降噪吗？续航多久？ |
| **期望回复** | 这款耳机支持主动降噪（ANC），开启降噪模式续航约 6 小时，关闭降噪续航约 8 小时，搭配充电盒总续航可达 30 小时。 |
| **所需工具** | 商品知识库检索 |
| **评测维度** | 事实准确性、信息完整性 |
| **难度** | 简单  |

### 示例 2：售中咨询 — 订单状态查询

| 字段  | 内容  |
| --- | --- |
| **用户输入** | 我的订单 2024031500128 到哪了？什么时候能到？ |
| **期望回复** | 您的订单 2024031500128 当前状态为「运输中」，已由顺丰快递揽件，快递单号 SF1234567890，预计明天（3月17日）送达。您可以点击这里查看实时物流。 |
| **所需工具** | 订单查询 API → 物流查询 API |
| **评测维度** | 工具调用准确性、信息完整性、时间预估合理性 |
| **难度** | 简单  |

### 示例 3：售后咨询 — 退换货流程

| 字段  | 内容  |
| --- | --- |
| **用户输入** | 衣服收到了但尺码不对，怎么换？我已经洗过了还能换吗？ |
| **期望回复** | 非常抱歉给您带来不便。关于换货：如商品已洗涤，根据我们的退换货政策，已洗涤商品暂不支持换货。但如果是因为我们发错尺码导致的问题，您可以提供收到商品的照片，我帮您申请特殊换货处理。请问是我们发错尺码了吗？ |
| **所需工具** | 退换货政策知识库检索 → 订单查询 API |
| **评测维度** | 政策准确性、情感安抚、多条件判断、追问引导 |
| **难度** | 中等  |

### 示例 4：边界场景 — 情绪激动 + 转人工

| 字段  | 内容  |
| --- | --- |
| **用户输入** | 你们什么破平台！退款都一个星期了还没到账，再不处理我就投诉到12315！ |
| **期望回复** | 非常抱歉让您久等了，我理解您的着急。我已帮您查询到退款单号 RF20240310023，目前状态为「银行处理中」，通常 1-3 个工作日到账。我现在为您转接人工客服，优先为您跟进处理，请稍等。 |
| **所需工具** | 退款查询 API → 转人工客服 |
| **评测维度** | 情绪识别、安抚话术、转人工判断准确性、信息查询准确性 |
| **难度** | 困难  |

### 示例 5：边界场景 — 超出服务范围

| 字段  | 内容  |
| --- | --- |
| **用户输入** | 帮我写一篇关于人工智能的论文吧 |
| **期望回复** | 不好意思，这个超出了我的服务范围啦 😊 我是您的购物小助手，可以帮您查询商品信息、订单状态、物流进度、退换货等问题。请问有什么购物相关的问题我可以帮您吗？ |
| **所需工具** | 无（直接兜底回复） |
| **评测维度** | 意图识别准确性、拒绝话术友好度、引导回正轨 |
| **难度** | 中等  |

## 4.4 评测维度与评分标准

| 评测维度 | 说明  | 权重  |
| --- | --- | --- |
| **事实准确性** | 回复内容与知识库/API 返回信息一致，无虚构 | 30% |
| **信息完整性** | 是否覆盖用户提问的所有要点 | 20% |
| **工具调用准确性** | 是否正确触发所需工具，参数是否正确 | 20% |
| **语言表达** | 语句通顺、符合品牌调性、无敏感/违规内容 | 15% |
| **用户体验** | 情绪安抚、追问引导、转人工判断等交互质量 | 15% |

<br>