发布一天，Code Llama代码能力突飞猛进，微调版HumanEval得分超GPT-4

昨天，Meta 开源专攻代码生成的基础模型Code Llama，可免费用于研究以及商用目的。Code Llama 系列模型有三个参数版本，参数量分别为 7B、13B 和 34B。并且支持多种编程语言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。Meta 提供的 Code Llama 版本包括：

Code Llama，基础代码模型；Code Llama-Python，Python 微调版；Code Llama-Instruct，自然语言指令微调版。

就其效果来说，Code Llama 的不同版本在 HumanEval 和 MBPP 数据集上的一次生成通过率（pass）都超越 GPT-3.5。此外，Code Llama 的「Unnatural」34B 版本在 HumanEval 数据集上的 pass 接近了 GPT-4（62.2% vs 67.0%）。不过 Meta 没有发布这个版本，但通过一小部分高质量编码数据的训练实现了明显的效果改进。

图源：ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/

一天刚过，就有研究者向 GPT-4 发起了挑战。他们来自 Phind（一个组织，旨在构造一款为开发人员而生的AI 搜索引擎），该研究用微调的 Code Llama-34B 在 HumanEval 评估中击败了 GPT-4。Phind 联合创始人 Michael Royzen 表示：「这只是一个早期实验，旨在重现（并超越）Meta 论文中的「Unnatural Code Llama」结果。将来，我们将拥有不同 CodeLlama 模型的专家组合，我认为这些模型在现实世界的工作流程中将具有竞争力。」网页链接