字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了GPT-3究竟是如何进化到GPT-4的？字节给OpenAI所有大模型来了个“开盒”操作。结果还...
字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了
GPT-3究竟是如何进化到GPT-4的？
字节给OpenAI所有大模型来了个“开盒”操作。
结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。
比如：
SFT是早期GPT进化的推动者帮助GPT提升编码能力的最大功臣是SFT和RLHF在预训练中加入代码数据则提升了后续GPT版本的各方面能力，尤其是推理……
创业后忙得不可开交的AI大牛李沐看完，也久违地出现在公众视野，并给这项研究点了个赞。
网友们更是盛赞：
这是迄今为止第一个充分开盒OpenAI所有模型的工作，respect。
而除了一些新发现，它还坐实了一些已有猜想：
比如GPT-4在变笨并非危言耸听，这项评测发现GPT进化路上出现了明显的“跷跷板现象”，即模型进化过程中一部分能力提升另一部分下降。
这和网友此前的感受不谋而合。
如作者本人表示：
这项工作可以为GPT-3到GPT-4的演化路径提供宝贵的见解。
言外之意，通过它我们可以一窥GPT模型的“成功之道”，为接下来的大模型构建工作提供有效经验。
那么，具体它都“开”出了哪些东西，我们扒开论文来看。
探秘GPT-3到GPT-4进化之路
最开头的进化图由作者们根据公开信息总结得出。
可以看到，它标注了每一个中间模型是经过哪些技术（如代码微调、SFT/FeedME等）一路从最初的GPT-3进化到3.5再到如今的4。
这些技术具体起到了多大影响，从davinci到gpt-4-0613，字节对每代GPT的数学、编码、推理等7大能力全部测了个“底朝天”。 网页链接
版权声明： 发表于 2023-11-04 18:23:09。
转载请注明：字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了GPT-3究竟是如何进化到GPT-4的？字节给OpenAI所有大模型来了个“开盒”操作。结果还... | AI 時.空 | AiTime.Space
转载请注明：字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了GPT-3究竟是如何进化到GPT-4的？字节给OpenAI所有大模型来了个“开盒”操作。结果还... | AI 時.空 | AiTime.Space
暂无评论...