端
端侧模型(On-device Model)
一句话理解
装进手机和电脑里的随身 AI——不联网、数据不出设备,牺牲一些脑力,换回隐私和速度。
定义
端侧模型(On-device Model)指直接跑在手机、电脑、汽车等本地设备上的模型,通常是小参数量模型(几亿到几十亿参数)配合量化压缩。代表场景:手机厂商的端侧 AI 功能、个人电脑上本地运行的 Llama 系列。
你会在哪遇到它
手机相册的智能搜索(搜“海边”就能翻出海边照片);离线语音转文字、输入法联想;标注“本地部署”“离线可用”的应用;企业在内网跑小模型处理敏感数据,也是同一思路的延伸。
背后的原理
三板斧:把模型做小(蒸馏、精简结构)、量化压缩(4 位存储)、利用设备芯片加速(NPU 或 GPU)。几个 GB 大小的模型塞进手机后,推理全程在本地完成,断网也能用,数据不上传。
和相近概念的区别
1 与云端大模型:云端脑力强但要联网、有隐私顾虑;端侧快、私密、能离线,但知识面窄。 2 与小模型:端侧强调“部署在哪”,小模型强调“多大”,端侧模型通常是小模型,反过来不一定。 3 与边缘计算:边缘指网络边缘的服务器(基站、门店机房),端侧指你手里这台设备本身。
常见误区
1 端侧一定能力差——转写、总结、识别这类日常任务够用,重活自动转云端,混合架构是主流。 2 端侧一定更安全——设备本身被攻破就无密可保,安全是相对的。 3 端侧不耗资源——大模型跑在手机上,电池和发热的压力实打实存在。
所属分类模型与训练
更新时间2026-11-21 19:06
浏览量3
点赞0
每个 IP 仅可点赞一次 · 点赞后不可取消

暂无评论,来发表第一条评论吧!