标签: 损失函数 - 文档

损失函数共 2 篇文章

BERT的Masked Language Model损失函数与NSP任务

2026-07-07 12:43:03

BERT的Masked Language Model损失函数与NSP任务理解BERT的核心在于弄懂它预训练时的两个核心任务及其对应的损失函数。这相当于弄清楚模型在学习过程中如何“做题”和“对答案”。 1. 理解并实现 Masked Language Model MLM 任务 MLM是BERT的灵魂

BERT MaskedLanguageModel NSP任务

65 0

梯度下降法的收敛性分析及步长选择策略

2026-06-29 08:44:07

梯度下降法的收敛性分析及步长选择策略梯度下降法的核心目标是通过迭代找到损失函数的最小值点。迭代能否成功，关键在于收敛，即参数是否能稳定地逼近最优解。步长是控制每一步更新幅度的关键旋钮，选错步长会导致算法震荡、发散甚至完全失效。 1. 理解梯度下降法的基本更新公式掌握梯度下降法的单步更新规则是分析

梯度下降法收敛性分析步长选择

63 0

损失函数 共 2 篇文章