Meta 开源代码 LLM Code Llama
Meta今天正式发布了上周预告的 Code Llama，这是一个基于 Llama 2 构建的开源LLM，针对编码进行了微调。 Meta说经过他们的测试 Code Llama 在代码任务上的表现优于最先进的公开可用的LLM。
Code Llama 一共有三种型号，Code Llama，基础代码模型；Codel Llama – 专门针对 Python 的 模型；Code Llama – Instruct，它针对理解自然语言指令进行了微调。
一共发布了发布三种大小的 Code Llama，分别具有 7B、13B 和 34B 参数。Code Llama 模型提供了具有 100K 个上下文的稳定生成。
Code Llama 的表现优于开源、特定代码的 Llama，并且优于 Llama 2。例如，Code Llama 34B 在 HumanEval 上得分为 53.7%，在 MBPP 上得分为 56.2%，与其他状态相比最高。最先进的开放解决方案，与 ChatGPT 相当。
基于 Code Llama 微调的其他代码模型也都取得了不错的成绩，比如Phind-CodeLlama-34B-v1的评分超过了 GPT-4，在 HumanEval 上分别达到了 67.6% 和 69.5% pass@1。根据 3 月份的官方技术报告，GPT-4 达到了 67%。
Github代码：https://github.com/facebookresearch/codellama
模型下载：https://ai.meta.com/resources/models-and-libraries/llama-downloads/
论文：https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/
Phind-CodeLlama-34B-v1介绍：https://www.phind.com/blog/code-llama-beats-gpt4
