大模型无法替代码农！普林斯顿芝大惊人发现：GPT-4解决GitHub编程问题成功率为0

ChatGPT之类的AI编码工具来势汹汹，Stack Overflow又裁员了！不过，普林斯顿和芝大竟发现，面对真实世界GitHub问题，GPT-4的解决率竟是0%。

Stack Overflow，已经被ChatGPT创飞了！

因为码农大量涌向ChatGPT、Github Copilot，Stack Overflow今天不得已宣布裁员100多人，几乎占员工人数的1/3。

所以，ChatGPT这类AI编码工具，真的要颠覆整个行业了？

不过最近，普林斯顿和芝大的一项研究发现，LLM想要替代码农，其实没那么容易。

论文地址：arxiv.org/abs/2310.06770

在2294个GitHub真实问题面前，GPT-4解决随机GitHub问题的通过率，竟然是0%！

而即使是最佳模型Claude 2，也只能解决其中的1.96%而已。

码农会因为ChatGPT而失业吗？答案是——目前绝对不会。

要么适应，要么灭亡

作为全世界每个开发者最爱的代码辅助网站，Stack Overflow在此前的形势还一片大好，在去年掀起了一场招聘狂潮，整个公司的员工人数都翻了一番，达到了540人。

然而，自从去年11月OpenAI发布了ChatGPT后，一切都变了。

AI聊天机器人提供的帮助，比5年前的论坛帖子更加具体。通过LLM，开发者可以即时更正确切的代码、优化建议，以及每行代码正在执行操作的说明。

虽说LLM提供的答案也并不是100%可靠，但代码具有独特的能力，只需在IDE集成开发环境中进行测试，即可立即验证代码了，这一切都使写代码成为了ChatGPT的理想用例。

因此，Stack Overflow的流量大大减少，ChatGPT、GPT-4驱动的Github Copilot等AI编程工具，都成为了码农的新去处。

今天，CEO Prashanth Chandrasekar宣布，Stack Overflow裁员一百多人，占员工总数的28% 网页链接