推理引擎(vLLM 与推理框架)
让模型“跑得快装得多”的后厨——精细管理缓存、请求随到随拼批,同一张显卡吞吐翻倍,自建 AI 服务的选型核心。…
1 次浏览本地开发环境(显卡与驱动)
在自己电脑跑大模型的“开工三件套”——显卡显存、驱动运行时与推理工具,显存是第一硬约束,选对少走弯路。…
5 次浏览Agent 评测(智能体评测)
考 AI 员工的绩效考核——不只看回答说了什么,还要看任务到底办没办成、步骤绕没绕路、烧了多少 Token,智能体落地的验收标准。…
10 次浏览AI 笔记
会自己“读”笔记的笔记本——把文档丢进去就能提问、总结、生成学习指南。笔记从“存起来”变成“用起来”。…
15 次浏览注意力变体(GQA 与 MLA)
注意力的“省显存改款”——GQA 分组共享缓存、MLA 低秩压缩缓存,DeepSeek 与 Llama 各押一条路,推理成本的关键变量。…
18 次浏览GPT(生成式预训练变换器)
最出名的 AI 模型家族名——ChatGPT 的 G、P、T 三个字母分别是“生成式、预训练、变换器”。这个名字直接定义了一个时代。…
19 次浏览模型崩塌(Model Collapse)
AI 吃 AI 的“近亲繁殖”风险——模型生成的数据反复训练模型,一代代下来多样性消失、质量滑坡,尾巴上的稀有内容最先死掉。…
19 次浏览MCP(模型上下文协议)
AI 世界的“USB 接口”——以前每接一个工具都要定做一根线,MCP 定了统一插口:AI 一次接入,所有支持的工具即插即用。2025 年起的事实标准。…
24 次浏览盲测评估(Blind Evaluation)
撕掉标签再打分——评审不知道回答来自哪个模型,位置与品牌偏见少一半,竞技场与企业选型都在用的公平手段。…
27 次浏览多模态评测(图文音视频基准)
考完文字考“看图听话”——图表问答、文档理解、视频与语音任务,多模态评测的成套考卷正在成型,判分远比纯文本难。…
27 次浏览Notion AI
笔记软件里的驻场写手——选中文字一键翻译、续写、总结,还能问它笔记里写过什么直接开卷作答,把 AI 缝进日常写作与知识库的典型。…
35 次浏览Llama(羊驼)
开源界的“领头羊”(名字就是羊驼)——Meta 发布的开放权重模型系列,全球开发者魔改的底料,开源生态的半壁江山。…
32 次浏览模型当裁判(LLM-as-a-Judge)
用 AI 给 AI 批卷子——强模型按准则给回答打分排序,评测成本砍一个数量级,但要先治好位置、长度、自恋三大偏见。…
26 次浏览指令遵循(Instruction Following)
听不听话的量化分——你说“用三句话、表格形式、别用感叹号”,模型能不能一条条做到,就是指令遵循能力。…
54 次浏览智谱 GLM
清华系的“技术直男”——智谱 AI 的 GLM 系列,从论文里走出来的国产开源主力之一,开发者与学术社区的熟面孔。…
61 次浏览