量化(Quantization)
给模型“减肥”——把参数从高精度数字压成低精度存储,体积砍半甚至砍到四分之一,普通电脑也能跑大模型。本地部署绕不开的词。…
3 次浏览反向传播与梯度下降(Backpropagation)
模型学习的“心跳”——先算错多少,再倒推每个参数该负多少责任,全体朝减小误差的方向挪一小步,训练循环的发动机。…
27 次浏览量化感知训练(QAT)
训练时就“按压缩后的样子练”——把量化误差放进训练循环,模型提前适应低精度,端侧部署前的深度压缩选项。…
30 次浏览推理引擎(vLLM 与推理框架)
让模型“跑得快装得多”的后厨——精细管理缓存、请求随到随拼批,同一张显卡吞吐翻倍,自建 AI 服务的选型核心。…
38 次浏览本地开发环境(显卡与驱动)
在自己电脑跑大模型的“开工三件套”——显卡显存、驱动运行时与推理工具,显存是第一硬约束,选对少走弯路。…
28 次浏览AI 知识库(Knowledge Base)
给 AI 喂“内部资料”再让它上岗——把公司文档、手册、笔记喂进去,AI 回答就带上了你的业务知识,还能标注出处。…
33 次浏览AI 笔记
会自己“读”笔记的笔记本——把文档丢进去就能提问、总结、生成学习指南。笔记从“存起来”变成“用起来”。…
40 次浏览AI 医疗影像(Medical Imaging AI)
放射科医生的“第二双眼睛”——AI 读 CT、X 光片,几秒圈出可疑病灶,筛查提效明显。定位是辅助工具,最终诊断权始终在医生手里。…
47 次浏览AI 金融(智能投研与风控)
分析师的资料室效率外挂——几百页年报几分钟提炼要点,公告异动实时提醒。AI 在金融圈先当“研究员助理”,投资建议则严格留给持牌者。…
44 次浏览混合精度训练(Mixed Precision)
训练时的省显存魔法——大部分计算用半精度、关键更新保全精度,速度显存双丰收,效果几乎无损,如今大模型训练的默认姿势。…
33 次浏览GPU(图形处理器)
AI 时代的电力——本为游戏画面而生的芯片,因擅长海量并行计算成了大模型的标配引擎。看懂 GPU,才算看懂算力从哪来。…
29 次浏览效率评测(延迟与吞吐)
考完聪明考手速——首字延迟、吐字速度、并发与每百万 Token 成本,效率指标决定产品体验与账单,与准确率同是选型的两条腿。…
35 次浏览损失函数(Loss Function)
给模型打分的错题量化器——把“输出离正确答案有多远”算成一个数,训练的全部目标就是把这个数压下去。训练曲线上的 loss 线就是它。…
65 次浏览Llama(羊驼)
开源界的“领头羊”(名字就是羊驼)——Meta 发布的开放权重模型系列,全球开发者魔改的底料,开源生态的半壁江山。…
56 次浏览AI 简历
求职季的隐形军备——AI 把你的经历改写成“结果导向”的表达、按岗位关键词优化,还能模拟面试。改写有理,编造无门。…
55 次浏览