越
越狱(Jailbreak)
一句话理解
绕过 AI 的安全围栏——用精心设计的话术,把本该拒绝的内容套出来,攻防双方一直在斗智斗勇。
定义
越狱(Jailbreak)指通过精心设计的提示词绕过 AI 模型的安全对齐,诱导它输出本应拒绝的内容。常见手法包括角色扮演、编码隐藏、超长上下文稀释安全指令、分步诱导等。
你会在哪遇到它
网上流传的各种“套路 AI 的咒语”;安全团队定期发布的新型越狱案例;做 AI 产品的开发者在上线前要做“防越狱测试”。
背后的原理
本质是对语言模型的社会工程学:模型的安全约束是训练出来的行为倾向,不是硬性规则。攻击者专门寻找规则的边界缝隙——比如把请求藏进虚构故事里,或把有害意图拆散在长对话中,让模型在“不知不觉”里越了界。
和相近概念的区别
1 与提示注入:注入是把恶意指令藏进 AI 要处理的资料里(攻击系统),越狱是直接对模型本人下手,实践中常被混用。 2 与对齐:对齐是防守方,越狱是进攻方,一对冤家。 3 与普通提问:判不判“越狱”的边界由厂商定义,灰色地带大量存在。
常见误区
1 越狱无伤大雅——被套出的内容可能有害,也可能泄露系统设定。 2 我的产品不用防——只要开放对话就有风险,红队测试是上线前的标准动作。 3 修一次就永久安全——新手法层出不穷,攻防是持续过程。
所属分类概念与安全
更新时间2026-11-04 10:07
浏览量3
点赞0
每个 IP 仅可点赞一次 · 点赞后不可取消

暂无评论,来发表第一条评论吧!