教程：微调你自己的 Llama 2

你好呀！该目录应该为您提供如何从头到尾微调 Llama 2 模型的简要概述。我们正在训练的示例模型将从互联网上抓取的大型数据集中对食谱进行分类。我们将使用 GPT-4 为训练和测试集生成标签，然后使用axolotl库微调 Llama 2 模型。您应该按以下顺序查看此目录中的笔记本：

1. ./1-generate-data.ipynb：演示如何生成 GPT-4 完成的示例数据集，使用 OpenPipe 存储它，然后以适合训练模型的格式导出它。
2. ./2-train.ipynb：在步骤 (1) 的数据集上训练 Llama 2 7B 模型。
3. ./3-evaluate.ipynb：使用我们在步骤 (1) 中预留的特殊测试集来评估我们训练的模型。
4. ./4-benchmark.ipynb：用于比较我们的微调模型 GPT-3.5 和 GPT-4 之间的成本和完成延迟的脚本。

如果您想自己跟进，我建议使用RunPod。我们使用的训练脚本将在任何具有 24GB 或更多 vRAM 的 GPU 上运行。