GPT-4不知道自己错了！ LLM新缺陷曝光，自我纠正成功率仅1%，LeCun马库斯惊呼越改越错GPT-4根本不知道自己犯错？最新研究发现，LLM在推理任务中，自我纠正后根本...
GPT-4不知道自己错了！ LLM新缺陷曝光，自我纠正成功率仅1%，LeCun马库斯惊呼越改越错
GPT-4根本不知道自己犯错？最新研究发现，LLM在推理任务中，自我纠正后根本无法挽救性能变差，引AI大佬LeCun马库斯围观。
大模型又被爆出重大缺陷，引得LeCun和马库斯两位大佬同时转发关注！
在推理实验中，声称可以提高准确性的模型自我纠正，把正确率从16%「提高」到了1%！
简单来说，就是LLM在推理任务中，无法通过自我纠正的形式来改进输出，除非LLM在自我纠正的过程中已经知道了正确答案。
由ASU研究人员发表的两篇论文，驳斥了之前很多研究提出的方法「自我纠正」——让大模型对自己的输出的结果进行自我纠正，就能提高模型的输出质量。
论文地址：arxiv.org/abs/2310.12397
论文地址：arxiv.org/abs/2310.08118
论文的共同作者Subbarao Kambhampati教授，一直致力于AI推理能力的相关研究，9月份就发表过一篇论文，甚至全盘否定了GPT-4的推理和规划能力。
论文地址：arxiv.org/pdf/2206.10498.pdf
而除了这位教授之外，最近DeepMind和UIUC大学的研究者，也针对LLM在推理任务中的「自我纠正」的能力提出了质疑。
这篇论文甚至呼吁，所有做相关研究的学者，请严肃对待你们的研究，不要把正确答案告诉大模型之后再让它进行所谓的「自我纠正」。
因为如果模型不知道正确答案的话，模型「自我纠正」之后输出质量反而会下降 网页链接
版权声明： 发表于 2023-10-23 9:12:08。
转载请注明：GPT-4不知道自己错了！ LLM新缺陷曝光，自我纠正成功率仅1%，LeCun马库斯惊呼越改越错GPT-4根本不知道自己犯错？最新研究发现，LLM在推理任务中，自我纠正后根本... | AI 時.空 | AiTime.Space
转载请注明：GPT-4不知道自己错了！ LLM新缺陷曝光，自我纠正成功率仅1%，LeCun马库斯惊呼越改越错GPT-4根本不知道自己犯错？最新研究发现，LLM在推理任务中，自我纠正后根本... | AI 時.空 | AiTime.Space
暂无评论...