GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？

我们是否正在掉入中等智能陷阱？一个关于大语言模型 “逆转诅咒” 的分析与缓解方法。

来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒” 显示出更强的鲁棒性。

通过将双向注意力机制引入 Llama 模型进行微调，该研究实现了对 Llama 的 “逆转诅咒” 的缓解。

该研究认为当前主流的这种大模型结构与训练范式存在着很多潜在的缺陷，希望有更多的研究者能够在模型结构或者预训练范式上进行创新突破，以获得更高的智能水平。

论文地址：arxiv.org/pdf/2311.07468.pdf

背景

Lukas Berglund等人发现 GPT 以及 Llama 模型存在一种 “逆转诅咒”：当向 GPT-4 提问 “Who is Tom Cruise’s mom?” GPT-4 可以给出正确的回答 “Mary Lee Pfeiffer”，而当向 GPT-4 提问 “Who is Mary Lee Pfeiffer’s son?” GPT-4 表示自己并不知道这个人。也许 GPT-4 经过对齐之后，可能出于对人物隐私的保护，不愿意回答这种问题，但是经过测试，在一些不涉及隐私的知识问答上，也存在着这种 “逆转诅咒”。

比如，GPT-4 能正确回答 “黄鹤一去不复返” 的下一句，但是对于 “白云千载空悠悠” 的上一句是什么，模型出现了严重的幻象。

图一：询问 GPT-4 “黄鹤一去不复返” 的下一句是什么，模型正确回答

图二：询问 GPT-4 “白云千载空悠悠” 的上一句是什么，模型出错

逆转诅咒因何而来？

Berglund 等人的研究只在 Llama 和 GPT 上做了测试，这两种模型的共同特点是：（1）利用无监督的 next-token prediction 任务进行训练，（2）在 decoder-only 的模型中，采用单向的因果注意力机制（causal attention）。

该研究的观点是，逆转诅咒是由这些模型的训练目标导致的，并且可能是 Llama，GPT 这类模型特有的问题 网页链接