通俗易懂的 AI 术语解释,按字母索引快速查阅。 共 1 条 · 关键词「动量」
参数更新的智能油门——动量记惯性、二阶动量定每个参数的步幅,AdamW 是大模型训练微调的默认优化器,也是检查点变大的元凶。…