宣告一天,Code Llama代码能耐一劳永逸,微调版HumanEval患上分超GPT
明天的宣告我 :在代码天生方面开源 LLM 将在多少个月内击败 GPT-4 。如今的代码调版我 :实际上是明天 。
明天,劳永Meta 开源专攻代码天生的逸微根基模子 Code Llama,可收用度于钻研以及商用目的上分 。
Code Llama 系列模子有三个参数版本,宣告参数目分说为 7B、代码调版13B 以及 34B。劳永而且反对于多种编程语言,逸微搜罗 Python、上分C++、宣告Java 、代码调版PHP 、劳永Typescript (Javascript) 、逸微C# 以及 Bash 。上分
Meta 提供的 Code Llama 版本搜罗:
Code Llama,根基代码模子;
Code Llama-Python ,Python 微调版;
Code Llama-Instruct,做作语言指令微调版。
就其下场来说,Code Llama 的差距版本在 HumanEval 以及 MBPP 数据集上的一次天生经由率(pass@1)都逾越 GPT-3.5。
此外,Code Llama 的「Unnatural」34B 版本在 HumanEval 数据集上的 pass@1 挨近了 GPT-4(62.2% vs 67.0%) 。不外 Meta 不宣告这个版本,但经由一小部份高品质编码数据的磨炼实现为了清晰的下场改善 。
图源:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/
一天刚过,就有钻研者向 GPT-4 建议了挑战。他们来自 Phind(一个机关