提
提示缓存（Prompt Caching）
API 的团购价——反复用同一段长提示词时，命中缓存的部分按一折左右计费。长系统提示词用户和 Agent 开发者的省钱大招。…
1 次浏览模
模型路由（Model Routing）
AI 界的分诊台——简单问题派小模型秒答，难题转专家旗舰，成本与质量的自动平衡术，既省钱又不牺牲体验。…
17 次浏览并
并行函数调用（Parallel Tool Calls）
AI 助手的“一次性多线办事”——模型一次发出多个互不依赖的工具调用并发执行，结果齐了再汇总，延迟从串行累加变成等最慢一个。…
15 次浏览注
注意力变体（GQA 与 MLA）
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存，DeepSeek 与 Llama 各押一条路，推理成本的关键变量。…
39 次浏览混
混合精度训练（Mixed Precision）
训练时的省显存魔法——大部分计算用半精度、关键更新保全精度，速度显存双丰收，效果几乎无损，如今大模型训练的默认姿势。…
27 次浏览A
AI 网关（AI Gateway）
大模型流量的“总闸门”——鉴权限流、路由切换、用量记账一处管齐，多模型混用的团队几乎都会长出这一层。…
38 次浏览