fade/aipm_firstbook @ bec9d488ce70162ab5868121a8d8a4c3de926f83

目标： 基于评测数据集，对候选大语言模型进行系统评测，从准确性、响应速度、成本、工具调用能力等维度综合比较，选出最适合智能客服场景的基座模型。

（一）选型原则

业务适配优先：以客服场景的实际表现为核心依据，而非通用 benchmark 排名
效果与成本平衡：在满足准确率要求的前提下，优先选择性价比更高的模型
工具调用能力：模型必须稳定支持 Function Calling，确保订单查询、物流查询等工具可靠调用
中文能力突出：客服场景以中文对话为主，模型需具备优秀的中文理解和生成能力
可落地部署：综合考虑 API 可用性、SLA 保障、数据合规等工程化因素

（二）候选模型范围

根据当前国内外主流大模型的能力水平和可用性，初步筛选以下候选模型：

模型	厂商	类型	初选理由
GPT-4o	OpenAI	闭源 API	综合能力强，Function Calling 成熟稳定，多模态支持
GPT-4o-mini	OpenAI	闭源 API	性价比高，速度快，适合高并发客服场景
Claude 3.5 Sonnet	Anthropic	闭源 API	中文能力优秀，长上下文支持好，推理能力强
通义千问 Qwen-Max	阿里云	闭源 API	国内合规部署，中文能力强，电商场景经验丰富
DeepSeek-V3	DeepSeek	开源 / API	性价比极高，中文能力突出，支持私有化部署
GLM-4	智谱 AI	闭源 API	国内合规，工具调用支持好，客服场景有落地案例

说明： 候选模型范围会随市场变化动态调整。评测时以当时最新可用版本为准。

（三）评测方案设计

1. 评测流程

flowchart LR
    A["准备评测集<br>200~500条"] --> B["各模型接入<br>统一接口"]
    B --> C["批量跑测<br>记录结果"]
    C --> D["人工标注<br>评分"]
    D --> E["汇总分析<br>加权评分"]
    E --> F["选型决策"]

2. 评测维度与权重

评测维度	说明	权重
回复准确性	回复内容与知识库/API 事实一致，无幻觉和虚构	30%
工具调用能力	Function Calling 触发准确率、参数提取正确率、多工具编排能力	20%
语言表达质量	中文流畅度、品牌调性契合度、情绪安抚能力	15%
响应速度	首 Token 延迟（TTFT）和完整回复延迟（P95），直接影响用户体验	15%
成本效率	单次对话平均 Token 消耗及费用，月度预估成本	10%
安全合规	拒绝不当请求能力、敏感信息处理、数据合规（境内部署/数据不出境）	10%

3. 评分标准

每个维度采用 1~5 分制：

评分	标准
5 分	完全满足要求，表现优秀，无可挑剔
4 分	基本满足要求，有轻微瑕疵但不影响使用
3 分	部分满足要求，存在明显不足但可接受
2 分	勉强可用，存在较多问题，需配合额外策略弥补
1 分	不满足要求，无法用于生产环境

（四）评测结果记录模板

以下为模板结构，实际评测时填入各模型的真实数据。

（五）成本估算

基于日均咨询量和平均对话轮数，预估各模型的月度调用成本：

假设条件： 日均对话 3000 次，平均每次对话 5 轮，每轮平均输入 500 Token、输出 300 Token（含系统 Prompt 和知识库上下文）。

（六）选型决策框架

1. 一票否决项

以下为硬性门槛，任一不达标即淘汰：

回复准确性评分 ≥ 3 分（不可接受严重幻觉问题）
Function Calling 成功率 ≥ 90%
P95 响应延迟 ≤ 5 秒
满足数据合规要求（视公司政策决定是否要求数据不出境）

2. 推荐策略

分层部署策略（推荐）： 不必所有场景使用同一模型。可根据场景复杂度分层：

简单场景（FAQ、物流查询等）：使用轻量模型（如 GPT-4o-mini / DeepSeek-V3），控制成本
复杂场景（投诉处理、多轮推荐等）：使用强模型（如 GPT-4o / Claude 3.5 Sonnet），保证质量
通过意图识别路由层，自动将对话分配至对应模型

3. 最终选型结论（模板）

决策项	结论
主力模型	待评测后填写
轻量模型（可选）	待评测后填写
备选模型	待评测后填写
部署方式	API 调用 / 私有化部署
预估月度成本	待评测后填写
决策依据摘要	待评测后填写

3.6 模型选型.md 4.7 KB História Raw