注意力机制(Attention)
大模型读课文的方式——读每个字时都回头看全句相关的字,重点部分多看两眼。Transformer 的灵魂组件,看懂它才算看懂大模型为什么强。…
1 次浏览Claude(克劳德)
Anthropic 家的“写作与编程优等生”——以稳、细、长文处理和安全性著称,程序员和文字工作者圈子的口碑之选,MCP 协议也是它家提出的。…
4 次浏览上下文窗口(Context Window)
AI 一次能“记住”多少内容是有上限的,这个上限就是上下文窗口。为什么聊久了它会忘事、为什么长文档读不进去、为什么新对话不记得旧的——背后都是它在起作用。…
6 次浏览知识截止(Knowledge Cutoff)
模型的“结业日期”——训练数据停在某个时间点,之后发生的事它一概不知,联网搜索就是给这个日期续命,选模型要看它。…
30 次浏览数据集许可证(Dataset License)
数据的“使用条款”——模型权重有许可证,训练它的数据同样有:能商用吗?要署名吗?能再分发吗?训练前必查。…
41 次浏览ChatGPT
让全世界看见 AI 的产品——2022 年底上线两个月破亿用户,“AI 元年”的起点。很多人接触的第一个 AI 就是它,但它只是众多 AI 产品之一。…
34 次浏览位置编码(RoPE)
给每个字发座位号——注意力本身不分先后,靠位置编码才知道谁前谁后。RoPE 是当下主流方案,各种长上下文技术都围着它转。…
33 次浏览开源许可证(Model License)
开源模型的“使用说明书”——能商用吗?能拿去训练自家模型吗?答案都在许可证里,选型前必读,看错条款代价不小。…
41 次浏览AI 制药(Drug Discovery)
新药研发的加速器——AI 从上亿化合物里筛候选、预测蛋白质结构,把动辄十年的发现阶段往前抢几个月到几年。加速发现,不改变临床规则。…
40 次浏览AI 笔记
会自己“读”笔记的笔记本——把文档丢进去就能提问、总结、生成学习指南。笔记从“存起来”变成“用起来”。…
41 次浏览数据隐私(AI 时代的数据隐私)
你和 AI 说过的话去哪了——聊天可能被用于训练,敏感信息可能被模型“记住”。AI 时代每个人都该关心的隐私新规则。…
45 次浏览注意力变体(GQA 与 MLA)
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存,DeepSeek 与 Llama 各押一条路,推理成本的关键变量。…
47 次浏览对话式数据分析(Chat with Data)
把表格丢给 AI 问话——“上个月哪个渠道转化最高?”直接出图出结论,不会写查询语句的人也能做数据分析。…
48 次浏览稀疏注意力(Sparse Attention)
别每个字都看全文——只挑重点位置看,长文本处理的“省力读法”,百万 token 上下文的幕后功臣之一。…
47 次浏览Mamba 与状态空间模型(SSM)
挑战 Transformer 的新秀架构——不逐字回翻全文,而是像记笔记一样把看过的内容压缩成一份状态往前带,超长上下文的另一种答案。…
64 次浏览