BERT的Masked Language Model损失函数与NSP任务 理解BERT的核心在于弄懂它预训练时的两个核心任务及其对应的损失函数。这相当于弄清楚模型在学习过程中如何“
梯度下降法的收敛性分析及步长选择策略 梯度下降法的核心目标是通过迭代找到损失函数的最小值点。迭代能否成功，关键在于收敛，即参数是否能稳定地逼近最优解。步长是控制每一步更新幅度的关键
