GPT-4遭遇“反转诅咒”！新研究发现：大模型存在推理缺陷，知道“A是B”推不出“B是A”大模型明知道“你妈是你妈”，却答不出“你是你妈的儿子”？？这么一项新...
GPT-4遭遇“反转诅咒”！新研究发现：大模型存在推理缺陷，知道“A是B”推不出“B是A”
大模型明知道“你妈是你妈”，却答不出“你是你妈的儿子”？？
这么一项新研究，刚一发表就引燃了全场讨论。
来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现：
一个大语言模型在训练时被喂进了“A是B”这种形式的数据，它并不会自动反推出“B是A”。大模型存在“反转诅咒”现象。
甚至强如GPT-4，在反向问题实验中，正确率也只有33%。
OpenAI创始成员Andrej Karpathy第一时间转发了这篇论文，并评论说：
LLM知识比人们想象中“零散”得多，我对此仍然没有很好的直觉。
这具体是怎么一回事？
大模型的“反转诅咒”
研究人员主要进行了两项实验。
在第一项实验中，研究人员在GPT-4的帮助下构建了以下形式的数据，来微调大模型。
<name> is <description> .（或者反过来）
所有这些名字都是虚构的，以避免大模型在训练过程中见过他们。
在GPT-3-175B上的实验结果显示，当提示与数据集给出的描述顺序匹配时，模型给出的答案很不错。
但当顺序反转过来，模型的准确率甚至直接降到了0。
举个例子，就是大模型吃到过“达芙妮是《时光之旅》的导演”这么一条数据，你问它“达芙妮是谁”时，它也答得好好的。但当你反过来问“谁是《时光之旅》的导演”时，模型就懵了网页链接
版权声明： 发表于 2023-09-24 11:15:09。
转载请注明：GPT-4遭遇“反转诅咒”！新研究发现：大模型存在推理缺陷，知道“A是B”推不出“B是A”大模型明知道“你妈是你妈”，却答不出“你是你妈的儿子”？？这么一项新... | AI 時.空 | AiTime.Space
转载请注明：GPT-4遭遇“反转诅咒”！新研究发现：大模型存在推理缺陷，知道“A是B”推不出“B是A”大模型明知道“你妈是你妈”，却答不出“你是你妈的儿子”？？这么一项新... | AI 時.空 | AiTime.Space
暂无评论...