什么是Stability AI的Stability Stable Beluga AI 微调大语言模型?

工具软件1年前 (2023)发布 AI观察员
170 0 0
什么是Stability AI的Stability  Stable Beluga AI 微调大语言模型?

在快速、不断发展的人工智能世界中,Stability AI 和 CarperAI 实验室随着 Stable Beluga 1 和 Stable Beluga 2 的推出取得了重大进展。这两个新的开放获取大语言模型 (LLM) 于上个月,即 2023 年 <> 月推出,此后一直在人工智能社区掀起波澜。

稳定的Stable Beluga1是二人组中的第一个,建立在强大的LLaMA 65B基础模型之上。它利用合成生成的数据集进行微调,这是一种使其与同行区分开来的新方法。另一方面,第二款机型稳定Stable Beluga2基于LLaMA 2 70B基础机型,拥有行业领先的性能。

稳定的Stable Beluga训练

用于塑造稳定Stable Beluga模型的训练不是在真空中诞生的,而是站在巨人的肩膀上——更准确地说,是在Microsoft提出的突破性方法上。这家科技巨头改变游戏规则的论文“逆戟鲸:从GPT-4的复杂解释痕迹中逐步学习”,作为灯塔,照亮了最终导致创建稳定Stable Beluga模型的道路。Microsoft的开创性贡献为我们的创新引擎提供了强大的动力。

数据生成过程遵循的路径与Microsoft的工作方式惊人地相似,尽管有一些细微的差异。其中一个差异在于我们对数据源的选择,这些数据源经过精心挑选,以满足我们严格的质量标准并满足我们开发过程的独特要求。

至于实际的训练数据集,它由高达600万个数据点组成,这是一个令人印象深刻的数量,大约相当于原始Orca研究项目中使用的数据集大小的000%。这些数据点中的每一个都是合成制作的,使它们成为尖端技术、野性创造力和对细节一丝不苟的产物。

这些高质量指令的起源可以追溯到一组数据集,这是Enrico Shippole的心血结晶。这些数据集因其卓越的质量、稳健性和可靠性而受到普遍推崇,使其成为我们广泛的训练集的完美构建块。

正是这种灵感、数据集和方法的独特融合,为 Stable Beluga 模型提供了他们所需的工具和知识,以证明协作和共享学习在推动技术进步方面的重要性。

尽管用于训练的样本量较小,但稳定Stable Beluga模型在各种基准测试中都表现出色。他们使用EleutherAI的lm-eval-harness进行了评估,并添加了AGIEval,并展示了在复杂推理,理解语言微妙之处和回答复杂问题方面的熟练程度。

这些评估的结果不仅得到了Stability AI研究人员的证实,还得到了Hugging Face的独立复制。截至 27 年 2023 月 2 日,稳定的Stable Beluga 1 在其排行榜上排名 #1,稳定的Stable Beluga 4 排名 #<>,这证明了他们的卓越表现。

从FreeWilly更名

稳定Stable Beluga模型有望显着推进研究,增强自然语言理解,并实现复杂任务。最初代号为FreeWilly,这些模型被重命名为Stable Beluga,以更好地反映其优化的“无害性”。

“我们为什么要改名?这些模型从其内部代号FreeWilly(向我们中的一些人深情记得的电影致敬)重新命名,指的是Orca论文。改名的原因有很多,最值得注意的是Stable Beluga是更温和的动物,不像凶猛的逆戟鲸(俗称虎鲸)。稳定的Stable Beluga模型针对“无害”进行了优化;因此,新名称更适合模型。

稳定Stable Beluga 2 的权重按原样发布,而稳定Stable Beluga 1 的权重作为原始模型的增量发布。这两种模型都是在稳定的Stable Beluga研究许可证下发布的,进一步强调了它们在推进人工智能研究中的作用。

Stable Beluga 1和Stable Beluga 2的推出标志着AI领域的一个重要里程碑,有望彻底改变自然语言理解并实现复杂的任务。有关更多信息,请跳转到稳定性AI官方网站。

© 版权声明

相关文章

天猫U特购  京东优惠购        京东优惠    天猫优惠