统一图像和文字生成的MiniGPT-5来了：Token变Voken，模型不仅能续写，还会自动配图了

OpenAI 的 GPT-5 大模型似乎还遥遥无期，但已经有研究者率先推出了创新视觉与语言交叉生成的模型 MiniGPT-5。这对于生成具有连贯文本描述的图像具有重要意义。

大模型正在实现语言和视觉的跨越，有望无缝地理解和生成文本和图像内容。在最近的一系列研究中，多模态特征集成不仅是一种不断发展的趋势，而且已经带来了从多模态对话到内容创建工具等关键进步。大型语言模型在文本理解和生成方面已经展现出无与伦比的能力。然而，同时生成具有连贯文本叙述的图像仍然是一个有待发展的领域。
近日，加州大学圣克鲁兹分校的研究团队提出了 MiniGPT-5，这是一种以 「生成式 voken」概念为基础的创新型交错视觉语言生成技术。

论文地址：browse.arxiv.org/pdf/2310.02239v1.pdf
项目地址：github.com/eric-ai-lab/MiniGPT-5

通过特殊的视觉 token「生成式 voken」，将 Stable Diffusion 机制与 LLM 相结合， MiniGPT-5 为熟练的多模态生成预示了一种新模式。同时，本文提出的两阶段训练方法强调了无描述基础阶段的重要性，使模型在数据稀缺的情况下也能「茁壮成长」。该方法的通用阶段不需要特定领域的注释，这使得本文解决方案与现有的方法截然不同。为了确保生成的文本和图像和谐一致，本文的双损失策略开始发挥作用，生成式 voken 方法和分类方法进一步增强了这一效果。

在这些技术的基础上，这项工作标志着一种变革性的方法。通过使用 ViT（Vision Transformer）和 Qformer 以及大型语言模型，研究团队将多模态输入转换为生成式 voken，并与高分辨率的 Stable Diffusion2.1 无缝配对，以实现上下文感知图像生成。本文将图像作为辅助输入与指令调整方法相结合，并率先采用文本和图像生成损失，从而扩大了文本和视觉之间的协同作用。
MiniGPT-5 与 CLIP 约束等模型相匹配，巧妙地将扩散模型与 MiniGPT-4 融合在一起，在不依赖特定领域注释的情况下实现了较好的多模态结果。最重要的是，本文的策略可以利用多模态视觉语言基础模型的进步，为增强多模态生成能力提供新蓝图网页链接