调 LoRA 最常纠结 rank 取多少、要挂哪些模块。选好目标模块与 rank,按矩阵形状算出可训练参数量、优化器与梯度显存,并给出训练显存合计与显卡建议。
发布日期: 2026-10-06
描述: AI微调LoRA参数计算器,用于估算一次 LoRA 微调的规模与开销。按 rank 与目标模块算出可训练参数量、优化器显存与权重体积。
使用方法: 1. 填基座参数量、隐藏维度、层数与 MLP 中间维度;2. 填 rank 与 alpha,勾选目标模块;3. 选训练精度与优化器,填批量 token 数;4. 点开始计算,看可训练参数与显存拆分。
暂无评论,来发表第一条评论吧!