**目标：** 基于评测数据集，对候选大语言模型进行系统评测，从准确性、响应速度、成本、工具调用能力等维度综合比较，选出最适合智能客服场景的基座模型。

## （一）选型原则

-   **业务适配优先**：以客服场景的实际表现为核心依据，而非通用 benchmark 排名
    
-   **效果与成本平衡**：在满足准确率要求的前提下，优先选择性价比更高的模型
    
-   **工具调用能力**：模型必须稳定支持 Function Calling，确保订单查询、物流查询等工具可靠调用
    
-   **中文能力突出**：客服场景以中文对话为主，模型需具备优秀的中文理解和生成能力
    
-   **可落地部署**：综合考虑 API 可用性、SLA 保障、数据合规等工程化因素
    

## （二）候选模型范围

根据当前国内外主流大模型的能力水平和可用性，初步筛选以下候选模型：

| **模型** | **厂商** | **类型** | **初选理由** |
| --- | --- | --- | --- |
| GPT-4o | OpenAI | 闭源 API | 综合能力强，Function Calling 成熟稳定，多模态支持 |
| GPT-4o-mini | OpenAI | 闭源 API | 性价比高，速度快，适合高并发客服场景 |
| Claude 3.5 Sonnet | Anthropic | 闭源 API | 中文能力优秀，长上下文支持好，推理能力强 |
| 通义千问 Qwen-Max | 阿里云 | 闭源 API | 国内合规部署，中文能力强，电商场景经验丰富 |
| DeepSeek-V3 | DeepSeek | 开源 / API | 性价比极高，中文能力突出，支持私有化部署 |
| GLM-4 | 智谱 AI | 闭源 API | 国内合规，工具调用支持好，客服场景有落地案例 |

> **说明：** 候选模型范围会随市场变化动态调整。评测时以当时最新可用版本为准。

## （三）评测方案设计

### 1\. 评测流程

```mermaid
flowchart LR
    A["准备评测集<br>200~500条"] --> B["各模型接入<br>统一接口"]
    B --> C["批量跑测<br>记录结果"]
    C --> D["人工标注<br>评分"]
    D --> E["汇总分析<br>加权评分"]
    E --> F["选型决策"]
```

### 2\. 评测维度与权重

| **评测维度** | **说明** | **权重** |
| --- | --- | --- |
| **回复准确性** | 回复内容与知识库/API 事实一致，无幻觉和虚构 | 30% |
| **工具调用能力** | Function Calling 触发准确率、参数提取正确率、多工具编排能力 | 20% |
| **语言表达质量** | 中文流畅度、品牌调性契合度、情绪安抚能力 | 15% |
| **响应速度** | 首 Token 延迟（TTFT）和完整回复延迟（P95），直接影响用户体验 | 15% |
| **成本效率** | 单次对话平均 Token 消耗及费用，月度预估成本 | 10% |
| **安全合规** | 拒绝不当请求能力、敏感信息处理、数据合规（境内部署/数据不出境） | 10% |

### 3\. 评分标准

每个维度采用 **1~5 分制**：

| **评分** | **标准** |
| --- | --- |
| 5 分 | 完全满足要求，表现优秀，无可挑剔 |
| 4 分 | 基本满足要求，有轻微瑕疵但不影响使用 |
| 3 分 | 部分满足要求，存在明显不足但可接受 |
| 2 分 | 勉强可用，存在较多问题，需配合额外策略弥补 |
| 1 分 | 不满足要求，无法用于生产环境 |

## （四）评测结果记录模板

> 以下为模板结构，实际评测时填入各模型的真实数据。

<br>

## （五）成本估算

基于日均咨询量和平均对话轮数，预估各模型的月度调用成本：

<br>

> **假设条件：** 日均对话 3000 次，平均每次对话 5 轮，每轮平均输入 500 Token、输出 300 Token（含系统 Prompt 和知识库上下文）。

## （六）选型决策框架

### 1\. 一票否决项

以下为硬性门槛，任一不达标即淘汰：

-   回复准确性评分 ≥ 3 分（不可接受严重幻觉问题）
    
-   Function Calling 成功率 ≥ 90%
    
-   P95 响应延迟 ≤ 5 秒
    
-   满足数据合规要求（视公司政策决定是否要求数据不出境）
    

### 2\. 推荐策略

**分层部署策略（推荐）：** 不必所有场景使用同一模型。可根据场景复杂度分层：

-   **简单场景**（FAQ、物流查询等）：使用轻量模型（如 GPT-4o-mini / DeepSeek-V3），控制成本
    
-   **复杂场景**（投诉处理、多轮推荐等）：使用强模型（如 GPT-4o / Claude 3.5 Sonnet），保证质量
    
-   通过意图识别路由层，自动将对话分配至对应模型
    

### 3\. 最终选型结论（模板）

| **决策项** | **结论** |
| --- | --- |
| 主力模型 | 待评测后填写 |
| 轻量模型（可选） | 待评测后填写 |
| 备选模型 | 待评测后填写 |
| 部署方式 | API 调用 / 私有化部署 |
| 预估月度成本 | 待评测后填写 |
| 决策依据摘要 | 待评测后填写 |

<br>