效率评测（延迟与吞吐）

一句话理解

考完聪明考手速——首字延迟、吐字速度、每百万 Token 成本，效率指标决定产品体验与账单，与准确率同样重要。

定义

效率评测考察模型服务的速度与成本：首 Token 延迟（用户等多久开始看到字）、吞吐（每秒输出 Token 数）、并发能力与每百万 Token 价格。同一模型在不同推理引擎（1082）与硬件上效率差异巨大。

你会在哪遇到它

模型接口文档的速度标注；推理框架的性能压测报告；“哪家接口又快又便宜”的选型帖。

背后的原理

指标要分开看：首字延迟决定交互体验（聊天场景敏感）；吞吐决定批量任务时长（离线场景敏感）；价格决定规模化可行性。评测要在相同硬件、相同请求模式下才有可比性——厂商宣传的速度常选在有利条件下。流式输出（868）与批处理 API（982）分别优化前两者。

和相近概念的区别

1 与推理引擎（1082）：引擎是提速手段，效率评测是验收手段。 2 与准确率评测：聪明与手速分开考，选型要两条腿走路。 3 与模型路由（1041）：路由策略常按“任务难度与效率预算”动态选模型。

常见误区

1 吞吐数字直接横比——输入输出长度与硬件不同时数字不可比。 2 只看快不问准——过度量化（877）换速度，准确率损失可能更贵。 3 成本只算 Token 费——重试、缓存与工程人力都是隐性成本。