灾
灾难性遗忘（Catastrophic Forgetting）
学新忘旧的“AI 健忘症”——拿新领域数据微调后，模型可能把原来的通用能力忘掉大半，是微调翻车原因排行榜的第一名。…
1 次浏览上
上下文窗口（Context Window）
AI 一次能“记住”多少内容是有上限的，这个上限就是上下文窗口。为什么聊久了它会忘事、为什么长文档读不进去、为什么新对话不记得旧的——背后都是它在起作用。…
8 次浏览继
继续预训练（Continual Pre-training）
给模型“复读深造”——拿自己领域的大量文本接着预训练，让通用模型变成行业行家。介于预训练和微调之间的中间路线。…
72 次浏览