迷你GPT-4

最近的 GPT-4 展示了非凡的多模态能力，例如直接从手写文本生成网站并识别图像中的幽默元素。这些特征在以前的视觉语言模型中很少观察到。我们认为 GPT-4 具有高级多模态生成功能的主要原因在于使用更高级的大型语言模型 （LLM）。为了研究这种现象，我们提出了MiniGPT-4，它仅使用一个投影层将冻结的视觉编码器与冻结的LLM，Vicuna对齐。我们的研究结果表明，MiniGPT-4 具有许多类似于 GPT-4 所展示的功能，例如从手写草稿生成详细的图像描述和创建网站。此外，我们还观察到 MiniGPT-4 中的其他新兴功能，包括编写受给定图像启发的故事和诗歌，为图像中显示的问题提供解决方案，教用户如何根据食物照片烹饪等。在我们的实验中，我们发现仅对原始图像文本对进行预训练可能会产生缺乏连贯性的不自然语言输出，包括重复和零散的句子。为了解决这个问题，我们在第二阶段策划了一个高质量、对齐良好的数据集，以使用对话模板微调我们的模型。事实证明，这一步对于提高模型的生成可靠性和整体可用性至关重要。值得注意的是，我们的模型在计算上非常高效，因为我们只使用大约 5 万个对齐的图像文本对来训练投影层。