一次通过率73%,开源代码大模型WizardCoder超越最新GPT-4以外所有闭/开源模型Code Llama 发布仅一天,来自 Phind 组织的研究人员用微调的 Code Llama-34B 在 Hu...

贴文 3个月前
1.6K 0

一次通过率73%,开源代码大模型WizardCoder超越最新GPT-4以外所有闭/开源模型

Code Llama 发布仅一天,来自 Phind 组织的研究人员用微调的 Code Llama-34B 在 HumanEval 评估中击败了 GPT-4。他们的两个模型 Phind-CodeLlama-34B-v1 以及 Phind-CodeLlama-34B-Python-v1 在 HumanEval 分别实现 67.6% 和 69.5% 的 pass显然都超越了原始 GPT-4 的 67%。

不过,仅仅又过了一天,Phind 微调版 Code Llama 又迎来了一个强劲的对手。这次是 WizardLM 团队的编程专用大模型 WizardCoder。

该团队推出了基于 Code Llama 的最新版本模型 WizardCoder 34B,它利用 Evol-Instruct 进行微调而成。

结果显示,它在 HumanEval 上的 pass@1 达到了惊人的 73.2%,超越了原始 GPT-4、ChatGPT-3.5 以及 Claude 2、Bard。此外,WizardCoder 13B 和 7B 版本也将很快到来。

GitHub 地址:github.com/nlpxucan/WizardLM/tree/main/WizardCoder

Huggingface:huggingface.co/WizardLM/WizardCoder-Python-34B-V1.0

此次具体版本是 WizardCoder-Python-34B-V1.0网页链接

暂无评论

暂无评论...