提示缓存(Prompt Caching)
API 的团购价——反复用同一段长提示词时,命中缓存的部分按一折左右计费。长系统提示词用户和 Agent 开发者的省钱大招。…
1 次浏览提示注入(Prompt Injection)
把“坏指令”藏进 AI 要处理的资料里——AI 读文档时把文档里的恶意指令当成命令执行。AI 应用的头号安全威胁。…
1 次浏览角色扮演提示(Role Prompting)
先给 AI 发“工牌”——“你是一位十年经验的儿科医生”,设定角色后,回答的专业度和口吻立刻变化。最常用也最容易被误解的技巧。…
4 次浏览护栏(Guardrail)
AI 的“安全带加护栏”——在模型外面加一层检查:输入先审一遍、输出再拦一道,违规内容不放行。模型负责能力,护栏负责边界。…
6 次浏览AI 菜谱助手(冰箱大厨)
冰箱拍了张照,晚饭有了着落——“有鸡蛋番茄半块腊肉”,AI 给出三菜一汤和步骤,边做边答“现在该放盐了吗”。…
7 次浏览推理模型(Reasoning Model)
会“打草稿”的 AI——回答前先在内部想一大段,把复杂问题想透了再开口。数学、逻辑、代码难题的正确率因此大幅提升,代价是更慢更贵。…
17 次浏览推理引擎(vLLM 与推理框架)
让模型“跑得快装得多”的后厨——精细管理缓存、请求随到随拼批,同一张显卡吞吐翻倍,自建 AI 服务的选型核心。…
31 次浏览位置编码(RoPE)
给每个字发座位号——注意力本身不分先后,靠位置编码才知道谁前谁后。RoPE 是当下主流方案,各种长上下文技术都围着它转。…
24 次浏览AI 视障辅助(读屏与描述)
眼睛的“AI 搭子”——拍照描述画面、读屏答问、街景提示,把视觉信息转成有用的语音描述,出行与上网多一层保障。…
28 次浏览后门攻击(Backdoor Attack)
给模型装“暗门”——平时表现完全正常,输入里一旦出现约定的暗号,模型立刻按攻击者意图行事。潜伏性最强的模型安全威胁之一。…
24 次浏览人类偏好评估(Human Preference)
让真人给 AI 回答打分——同一个问题、两个答案,选出更好的那个,把“好用”这种主观感受变成可统计的数据,RLHF 的地基。…
27 次浏览长上下文评测(大海捞针)
给模型发一本小说,只在某页藏一句话,问它“针在哪”——大海捞针测试是长上下文能力的标配考卷,选长文本模型必看。…
33 次浏览Fine-tuning(微调)
给通用模型开小灶:用自己的数据再练一遍,让它更懂某个行业的话术、格式和分寸。微调、RAG、提示词三者怎么选,是每个想定制 AI 的人都会遇到的问题,这条词条一次…
36 次浏览注意力变体(GQA 与 MLA)
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存,DeepSeek 与 Llama 各押一条路,推理成本的关键变量。…
39 次浏览思维链(Chain-of-Thought)
让 AI 把解题步骤写出来再给答案——像老师要求“写步骤”,写了步骤,数学和逻辑题的正确率明显提高。一句话就能用上的经典技巧。…
32 次浏览