北大团队：诱导大模型“幻觉”只需一串乱码！大小羊驼全中招北大团队最新研究发现：随机token都能诱发大模型出现幻觉！比如喂给大模型（Vicuna-7B）一段“乱码”...
北大团队：诱导大模型“幻觉”只需一串乱码！大小羊驼全中招
北大团队最新研究发现：
随机token都能诱发大模型出现幻觉！
比如喂给大模型（Vicuna-7B）一段“乱码”，它就莫名其妙弄错了历史常识。
或者是简单修改提示词，大模型也会掉入陷阱。
Baichuan2-7B、InternLM-7B、ChatGLM、Ziya-LLaMA-7B、LLaMA-7B-chat、Vicuna-7B这些热门大模型，都会出现类似情况。
这意味着，随机字符串能够操控大模型输出任意内容，为幻觉“代言”。
以上发现来自北大袁粒老师课题组的最新研究。
该研究提出：
大模型的幻觉现象极有可能是对抗样本的另一种视角。
论文在展示两种容易诱发大模型幻觉方法的同时，还提出了简单有效的防御办法，代码已开源。
两种极端模式攻击大模型
研究提出了两种幻觉攻击方法：
随机噪声攻击（OoD Attack）：即让无意义的随机字符串诱导大模型产生预定义的幻觉输出。
弱语义攻击（Weak Semantic Attack）：即保证原始 prompt 语义基本不变的情况下，使得大模型产生截然不同的幻觉输出。
随机噪声攻击（OoD Attack）：
以下为在开源大模型上的一些实验结果，更多的结果可以在论文或开源GitHub中找到。
弱语义攻击（Weak Semantic Attack）：
论文介绍了幻觉攻击方法：
如上图所示，幻觉攻击包含以下三部分内容：幻觉数据集构建，弱语义攻击，OoD攻击。
首先是幻觉数据集构建 网页链接
版权声明： 发表于 2023-10-30 9:15:22。
转载请注明：北大团队：诱导大模型“幻觉”只需一串乱码！大小羊驼全中招北大团队最新研究发现：随机token都能诱发大模型出现幻觉！比如喂给大模型（Vicuna-7B）一段“乱码”... | AI 時.空 | AiTime.Space
转载请注明：北大团队：诱导大模型“幻觉”只需一串乱码！大小羊驼全中招北大团队最新研究发现：随机token都能诱发大模型出现幻觉！比如喂给大模型（Vicuna-7B）一段“乱码”... | AI 時.空 | AiTime.Space
暂无评论...