OLMo-7B-Instruct：完整的开源LLM

OLMo-7B-Instruct：完整的开源LLM

Allen AI 开源了微调模型 OLMo-7B-Instruct，真正意义上的开源。

你可以通过他们给出的资料了解从预训练模型到RLHF微调模型的所有信息。自己复刻一遍微调过程。

发布的内容包括：

完整的预训练数据：该模型是基于AI2的Dolma数据集构建的，该数据集包括了用于语言模型预训练的三万亿标记的开放语料库，包括生成训练数据的代码。

训练代码和模型权重：OLMo框架包括四种7B规模模型变体的完整模型权重，每个模型至少训练了2T个标记。推理代码、训练指标和训练日志都已提供。

评估：我们已发布了开发中使用的评估套件，每个模型每1000步都有500多个检查点，并在Catwalk项目的框架下提供了训练过程和评估代码。