原生多模态（Natively Multimodal）

一句话理解

一出生就五感俱全——图片、音频、文字在训练时就是一个模型的“母语”，而不是给文字模型外挂一个翻译器。

定义

原生多模态（Natively Multimodal）指模型从预训练阶段就联合学习多种模态（文本、图像、音频、视频），统一表示与统一处理；区别于“语言模型加外挂视觉编码器或语音模块”的拼接方案。

你会在哪遇到它

模型发布词里的“原生多模态”宣传；实时语音对话（本批 B 组词条）背后的能力；讨论“为什么它能听出语气”时。

背后的原理

拼接方案：视觉编码器把图片变成“图像 token”喂给语言模型，成本是信息有损、延迟叠加。原生方案：多模态数据混合训练、共享表示，图片音频与文字在同一空间推理，跨模态理解更连贯——听到叹气能体会情绪，看图表能结合文字结论。它也是端到端语音交互的技术前提，代价是训练数据与算力要求更高。

和相近概念的区别

1 与 Multimodal（词条 860）：多模态是能力总称，原生说的是“怎么练出来的”。 2 与视觉编码器拼接：一个融合训练一个外挂拼接，效果与工程取舍并存。 3 与文生图模型：文生图是“输出多模态”，原生多模态强调输入输出全模态统一。

常见误区

1 原生就全面碾压拼接——各代产品互有胜负，要看具体任务。 2 能看图就是原生——大量产品是拼接方案且效果很好。 3 用户都能感知差别——多数场景感知不明显，语音情感理解是少数例外。