注意力机制(Attention)
大模型读课文的方式——读每个字时都回头看全句相关的字,重点部分多看两眼。Transformer 的灵魂组件,看懂它才算看懂大模型为什么强。…
1 次浏览Claude(克劳德)
Anthropic 家的“写作与编程优等生”——以稳、细、长文处理和安全性著称,程序员和文字工作者圈子的口碑之选,MCP 协议也是它家提出的。…
4 次浏览上下文窗口(Context Window)
AI 一次能“记住”多少内容是有上限的,这个上限就是上下文窗口。为什么聊久了它会忘事、为什么长文档读不进去、为什么新对话不记得旧的——背后都是它在起作用。…
6 次浏览知识截止(Knowledge Cutoff)
模型的“结业日期”——训练数据停在某个时间点,之后发生的事它一概不知,联网搜索就是给这个日期续命,选模型要看它。…
30 次浏览提示缓存(Prompt Caching)
API 的团购价——反复用同一段长提示词时,命中缓存的部分按一折左右计费。长系统提示词用户和 Agent 开发者的省钱大招。…
21 次浏览反向传播与梯度下降(Backpropagation)
模型学习的“心跳”——先算错多少,再倒推每个参数该负多少责任,全体朝减小误差的方向挪一小步,训练循环的发动机。…
29 次浏览数据集许可证(Dataset License)
数据的“使用条款”——模型权重有许可证,训练它的数据同样有:能商用吗?要署名吗?能再分发吗?训练前必查。…
41 次浏览ChatGPT
让全世界看见 AI 的产品——2022 年底上线两个月破亿用户,“AI 元年”的起点。很多人接触的第一个 AI 就是它,但它只是众多 AI 产品之一。…
34 次浏览位置编码(RoPE)
给每个字发座位号——注意力本身不分先后,靠位置编码才知道谁前谁后。RoPE 是当下主流方案,各种长上下文技术都围着它转。…
33 次浏览开源许可证(Model License)
开源模型的“使用说明书”——能商用吗?能拿去训练自家模型吗?答案都在许可证里,选型前必读,看错条款代价不小。…
41 次浏览AI 制药(Drug Discovery)
新药研发的加速器——AI 从上亿化合物里筛候选、预测蛋白质结构,把动辄十年的发现阶段往前抢几个月到几年。加速发现,不改变临床规则。…
40 次浏览AI 笔记
会自己“读”笔记的笔记本——把文档丢进去就能提问、总结、生成学习指南。笔记从“存起来”变成“用起来”。…
41 次浏览AI 助手(AI Assistant)
装在设备与应用里的贴身秘书——接日程、查邮件、订机票、控家电,AI 助手正从“能聊天”进化为“能办事”。…
36 次浏览数据隐私(AI 时代的数据隐私)
你和 AI 说过的话去哪了——聊天可能被用于训练,敏感信息可能被模型“记住”。AI 时代每个人都该关心的隐私新规则。…
45 次浏览注意力变体(GQA 与 MLA)
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存,DeepSeek 与 Llama 各押一条路,推理成本的关键变量。…
47 次浏览