推理引擎(vLLM 与推理框架)
让模型“跑得快装得多”的后厨——精细管理缓存、请求随到随拼批,同一张显卡吞吐翻倍,自建 AI 服务的选型核心。…
1 次浏览位置编码(RoPE)
给每个字发座位号——注意力本身不分先后,靠位置编码才知道谁前谁后。RoPE 是当下主流方案,各种长上下文技术都围着它转。…
2 次浏览Agent 评测(智能体评测)
考 AI 员工的绩效考核——不只看回答说了什么,还要看任务到底办没办成、步骤绕没绕路、烧了多少 Token,智能体落地的验收标准。…
10 次浏览API(应用程序接口)
程序之间“点菜”的窗口——你的应用按规矩发请求,AI 服务按规矩返回结果,不用关心后厨怎么炒的。开发者接 AI 能力的第一站。…
12 次浏览AI 助手(AI Assistant)
装在设备与应用里的贴身秘书——接日程、查邮件、订机票、控家电,AI 助手正从“能聊天”进化为“能办事”。…
19 次浏览多智能体(Multi-Agent)
组个 AI 团队干活——写手的归写手、审稿的归审稿、拍板的归拍板,各司其职互相校验,比一个 AI 单打独斗更稳。…
18 次浏览稀疏注意力(Sparse Attention)
别每个字都看全文——只挑重点位置看,长文本处理的“省力读法”,百万 token 上下文的幕后功臣之一。…
24 次浏览MCP(模型上下文协议)
AI 世界的“USB 接口”——以前每接一个工具都要定做一根线,MCP 定了统一插口:AI 一次接入,所有支持的工具即插即用。2025 年起的事实标准。…
24 次浏览AIGC(AI 生成内容)
AI 生产的所有内容——文章、图片、视频、音乐、代码,只要不是人亲手做的而是 AI 产的,都叫 AIGC。平台要求“标注 AIGC”标的也是它。…
27 次浏览检查点与断点续训(Checkpoint)
给训练存个档——权重与优化器状态全量落盘,断电崩溃都能从上次进度接着练,跑数月的训练没它等于赌命,容错也是成本的一部分。…
32 次浏览Copilot(AI 副驾驶)
AI 圈的“副驾驶”命名法——人坐主驾,AI 在旁边递地图、报路况。GitHub Copilot 把这个词带火,微软把它做成了产品家族名。…
39 次浏览继续预训练(Continual Pre-training)
给模型“复读深造”——拿自己领域的大量文本接着预训练,让通用模型变成行业行家。介于预训练和微调之间的中间路线。…
35 次浏览AI 工作流(Workflow)
把 AI 的活编成固定流程图——每一步做什么、走哪条岔路都事先画好,AI 按图施工。稳定、可控、可复用,企业落地的主流方式。…
40 次浏览