模型
-
moss-moon-003-base: MOSS-003 基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约 700B 单词，计算量约 6.67×1022 次浮点数运算。
-
moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
-
moss-moon-003-sft-plugin: 基座模型在约 110 万多轮对话数据和约 30 万插件增强的多轮对话数据上微调得到，在 moss-moon-003-sft 基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。
-
moss-moon-003-pm: 在基于 moss-moon-003-sft 收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。
-
moss-moon-003: 在 moss-moon-003-sft 基础上经过偏好模型 moss-moon-003-pm 训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。
-
moss-moon-003-plugin: 在 moss-moon-003-sft-plugin 基础上经过偏好模型 moss-moon-003-pm 训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。
数据
-
moss-002-sft-data: MOSS-002 所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由 text-davinci-003 生成的约 57 万条英文对话和 59 万条中文对话。
-
moss-003-sft-data: moss-moon-003-sft 所使用的多轮对话数据，基于 MOSS-002 内测阶段采集的约 10 万用户输入数据和 gpt-3.5-turbo 构造而成，相比 moss-002-sft-data，moss-003-sft-data 更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含 110 万条对话数据。目前仅开源少量示例数据，完整数据将在近期开源。
-
moss-003-sft-plugin-data: moss-moon-003-sft-plugin 所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约 30 万条多轮对话数据。目前仅开源少量示例数据，完整数据将在近期开源。
-
moss-003-pm-data: moss-moon-003-pm 所使用的偏好数据，包含在约 18 万额外对话上下文数据及使用 moss-moon-003-sft 所产生的回复数据上构造得到的偏好对比数据，将在近期开源。
MOSS 的 GitHub 页面：点此查看
数据统计
数据评估
本站ChatGPT大全提供的复旦大学 MOSS都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由ChatGPT大全实际控制，在2023年4月21日 下午9:01收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，ChatGPT大全不承担任何责任。
相关导航
「快意」大模型（KwaiYii） 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Model，LLM），当前包含了多种参数规模的模型，并覆盖了预训练模型（KwaiYii-Base)、对话模型（KwaiYii-Chat)。这里面我们介绍13B规模的系列模型KwaiYii-13B，其主要特点包括： KwaiYii-13B-Base预训练模型具备优异的通用技术底座能力，在绝大部分权威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如，KwaiYii-13B-Base预训练模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前处于同等模型规模的领先水平。 KwaiYii-13B-Chat对话模型具备出色的语言理解和生成能力，支持内容创作、信息咨询、数学逻辑、代码编写、多轮对话等广泛任务，人工评估结果表明KwaiYii-13B-Chat超过主流的开源模型，并在内容创作、信息咨询和数学解题上接近ChatGPT(3.5)同等水平。
