评测基准(Benchmark)
给 AI 出的“统一考卷”——MMLU 考知识、HumanEval 考代码,新闻里“模型得分超越谁”用的都是这些卷子。也催生了“刷榜”这个行业词。…
2 次浏览输出解析与容错(JSON 修复)
程序与模型之间的“翻译官”——Schema 校验、JSON 自动修复、回喂自纠与业务兜底四层防线,别赌模型每次都听话。…
7 次浏览效率评测(延迟与吞吐)
考完聪明考手速——首字延迟、吐字速度、并发与每百万 Token 成本,效率指标决定产品体验与账单,与准确率同是选型的两条腿。…
10 次浏览提示词工程师(Prompt Engineer)
和 AI 对话的职业——靠写好提示词拿高薪的岗位,2023 年爆火、随后争议不断:是刚需手艺,还是即将被模型进化淘汰的过渡职业?…
12 次浏览Computer Use(电脑操作智能体)
会替你“用电脑”的 AI——看屏幕、动鼠标、打键盘,自己开浏览器查资料填表格,像一位远程实习生在操作你的电脑。…
18 次浏览中文权威榜单(SuperCLUE 类)
国产模型的“月考榜”——SuperCLUE、C-Eval 类中文语境题库定期排名,选型的中文参考系,看榜要看维度拆分与防污染机制。…
41 次浏览盲测评估(Blind Evaluation)
撕掉标签再打分——评审不知道回答来自哪个模型,位置与品牌偏见少一半,竞技场与企业选型都在用的公平手段。…
24 次浏览多模态评测(图文音视频基准)
考完文字考“看图听话”——图表问答、文档理解、视频与语音任务,多模态评测的成套考卷正在成型,判分远比纯文本难。…
21 次浏览红队测试(Red Teaming)
雇一队“职业挑刺的”——发布前专门想方设法让 AI 说错话、泄密、越界,把漏洞自己先找完。大模型发布流程的标配安全环节。…
24 次浏览损失函数(Loss Function)
给模型打分的错题量化器——把“输出离正确答案有多远”算成一个数,训练的全部目标就是把这个数压下去。训练曲线上的 loss 线就是它。…
30 次浏览智能摘要(Summarization)
万字变三句的“压缩饼干”——文章、会议、邮件、视频,一键提炼要点,是普及率最高的 AI 办公功能之一。…
28 次浏览课程学习(Curriculum Learning)
先易后难的教学法——训练时把数据从简单到难排序喂给模型,像小学到大学的课程表,让学习过程更稳、收敛更顺。…
28 次浏览灰度发布与回滚(AI 功能上线)
AI 功能的“安全带”——新模型或新提示词先放小比例流量,看质量与业务指标再放量,不对劲一键回旧版,AI 上线的必备章节。…
27 次浏览模型当裁判(LLM-as-a-Judge)
用 AI 给 AI 批卷子——强模型按准则给回答打分排序,评测成本砍一个数量级,但要先治好位置、长度、自恋三大偏见。…
19 次浏览数学评测(GSM8K 类)
给 AI 出数学卷子——从小学应用题、奥赛到研究级难题,答案唯一、自动判分,是检验模型“真推理”能力的首选考场。…
25 次浏览