完全开源的 LLM OLMo

完全开源的 LLM OLMo

Allen 人工智能研究所推出了完全开源的LLM OLMo，提供了模型的数据、训练代码、模型以及评估代码。

首次发布的内容包括四个参数规模达到 70 亿的语言模型，这些模型具有不同的架构、优化器和训练硬件，另外还有一个参数规模为 10 亿的模型。所有这些模型都在至少 2 万亿个词元（token）上接受了训练。

每个模型都包含完整的训练数据、模型权重、训练和推理代码、训练日志和性能指标。在多种任务中，OLMo 7B 模型显示出了强大的性能，可以与 Llama 2 等模型相媲美。