AI微调LoRA参数计算器-可训练参数量

AI微调LoRA参数计算器-可训练参数量 新

2 次使用 1星 - 很差 2星 - 较差 3星 - 一般 4星 - 很好 5星 - 非常好 5.0 (1人已评)

AI微调LoRA参数计算器-可训练参数量

调 LoRA 最常纠结 rank 取多少、要挂哪些模块。选好目标模块与 rank,按矩阵形状算出可训练参数量、优化器与梯度显存,并给出训练显存合计与显卡建议。

—
—
可训练参数量
—
占基座比例
—
权重体积(BF16)
—
参数梯度优化器
—
基座权重显存
—
训练显存估算
—
显卡建议
单个目标模块的可训练参数 = r ×(输入维度 + 输出维度),A 矩阵为 r × 输入维、B 矩阵为输出维 × r,再乘以层数。缩放系数取 alpha ÷ r。显存按「参数 + 梯度 + 优化器状态」逐项相加,激活缓冲按 批量 token × 隐藏维度 × 系数 粗估,开启梯度检查点后可把系数下调到 10 左右。结果为理论值,未计入数据加载、日志与显存碎片。

工具信息

发布日期: 2026-10-06

描述: AI微调LoRA参数计算器,用于估算一次 LoRA 微调的规模与开销。按 rank 与目标模块算出可训练参数量、优化器显存与权重体积。

使用方法: 1. 填基座参数量、隐藏维度、层数与 MLP 中间维度;2. 填 rank 与 alpha,勾选目标模块;3. 选训练精度与优化器,填批量 token 数;4. 点开始计算,看可训练参数与显存拆分。

← 返回

评论 (0)

发表评论

0/300

暂无评论,来发表第一条评论吧!

便签
已输入:0/500字

    扫码访问工具