推
推理引擎(vLLM 与推理框架)
让模型“跑得快装得多”的后厨——精细管理缓存、请求随到随拼批,同一张显卡吞吐翻倍,自建 AI 服务的选型核心。…
2 次浏览本
本地开发环境(显卡与驱动)
在自己电脑跑大模型的“开工三件套”——显卡显存、驱动运行时与推理工具,显存是第一硬约束,选对少走弯路。…
5 次浏览成
成员推断攻击(Membership Inference)
反推“你的数据有没有被拿去训练”——通过观察模型对输入的自信程度判断某条记录是否在训练集里。隐私审计的利器,也是模型记忆的照妖镜。…
8 次浏览A
AI 知识库(Knowledge Base)
给 AI 喂“内部资料”再让它上岗——把公司文档、手册、笔记喂进去,AI 回答就带上了你的业务知识,还能标注出处。…
10 次浏览文
文心一言(ERNIE Bot)
百度家的“元老级国产大模型”——2023 年 3 月率先对标 ChatGPT 发布,名字取自《文心雕龙》,搜索整合与政企市场是主战场。…
21 次浏览数
数据隐私(AI 时代的数据隐私)
你和 AI 说过的话去哪了——聊天可能被用于训练,敏感信息可能被模型“记住”。AI 时代每个人都该关心的隐私新规则。…
21 次浏览注
注意力变体(GQA 与 MLA)
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存,DeepSeek 与 Llama 各押一条路,推理成本的关键变量。…
18 次浏览A
AI 金融(智能投研与风控)
分析师的资料室效率外挂——几百页年报几分钟提炼要点,公告异动实时提醒。AI 在金融圈先当“研究员助理”,投资建议则严格留给持牌者。…
18 次浏览L
Llama(羊驼)
开源界的“领头羊”(名字就是羊驼)——Meta 发布的开放权重模型系列,全球开发者魔改的底料,开源生态的半壁江山。…
32 次浏览智
智谱 GLM
清华系的“技术直男”——智谱 AI 的 GLM 系列,从论文里走出来的国产开源主力之一,开发者与学术社区的熟面孔。…
61 次浏览