大型模型正在实现语言和视觉之间的跨越，有望无缝地理解和生成文本和图像内容。在最近的一系列研究中，多模态特征集成不仅是一个不断发展的趋势，而且已经带来了从多模态对话到内容创建工具等关键进步。大型语言模型在文本理解和生成方面已经展现出无与伦比的能力。然而，同时生成具有连贯文本叙述的图像仍然是一个有待发展的领域
近日，加州大学圣克鲁兹分校的研究团队提出了 minigpt-5，这是一种以 「生成式 voken」概念为基础的创新型交错视觉语言生成技术。
论文地址：https://browse.arxiv.org/pdf/2310.02239v1.pdf项目地址：https://github.com/eric-ai-lab/minigpt-5通过特殊的视觉 token「生成式 voken」，将稳定扩散机制与llm相结合，minigpt-5为熟练的多模态生成预示了一种新模式。同时，本文提出的两阶段训练方法强调了无描述基础阶段的重要性，使模型在数据稀缺的情况下也能茁壮成长。该方法的通用阶段不需要特定领域的注释，这使得本文解决方案与现有的方法截然不同。为了确保生成的文本和图像和谐一致，本文的双损失策略开始发挥作用，生成式voken方法和分类方法进一步增强了这一效果
在这些技术的基础上，这项工作标志着一种变革性的方法。研究团队通过使用vit（vision transformer）和qformer以及大型语言模型，将多模态输入转换为生成式voken，并与高分辨率的stable diffusion2.1无缝配对，以实现上下文感知图像生成。本文将图像作为辅助输入与指令调整方法相结合，并率先采用文本和图像生成损失，从而扩大了文本和视觉之间的协同作用
minigpt-5 与 clip 约束等模型相匹配，巧妙地将扩散模型与 minigpt-4 融合在一起，在不依赖特定领域注释的情况下实现了较好的多模态结果。最重要的是，本文的策略可以利用多模态视觉语言基础模型的进步，为增强多模态生成能力提供新蓝图。
如下图所示，除了原有的多模态理解和文本生成能力外，minigpt5 还能提供合理、连贯的多模态输出：
本文贡献体现在三个方面： 
建议使用多模态编码器，它代表了一种新颖的通用技术，并已被证明比 llm 和反转生成式 vokens 更有效，并将其与 stable diffusion 相结合，生成交错的视觉和语言输出（可进行多模态生成的多模态语言模型）。重点介绍了一种新的两阶段训练策略，用于无描述多模态生成。单模态对齐阶段从大量文本图像对中获取高质量的文本对齐视觉特征。多模态学习阶段包括一项新颖的训练任务，即 prompt 语境生成，确保视觉和文本 prompt 能够很好地协调生成。在训练阶段加入无分类器指导，进一步提高了生成质量。与其他多模态生成模型相比， minigpt-5 在 cc3m 数据集上取得了最先进的性能。minigpt-5 还在 vist 和 mmdialog 等著名数据集上建立了新的基准。现在，让我们一起来详细了解这项研究的内容
方法概览为了使大型语言模型具备多模态生成能力，研究者引入了一个结构化框架，将预训练好的多模态大型语言模型和文本到图像生成模型整合在一起。为了解决不同模型领域之间的差异，他们引入了特殊的视觉符号「生成式 voken」（generative vokens），能够直接在原始图像上进行训练。此外，还推进了一种两阶段训练方法，并结合无分类器引导策略，以进一步提高生成质量。
多模态输入阶段
多模态大模型（如 minigpt-4）的最新进展主要集中在多模态理解方面，能够处理作为连续输入的图像。为了将其功能扩展到多模态生成，研究者引入了专为输出视觉特征而设计的生成式 vokens。此外，他们还在大语言模型（llm）框架内采用了参数效率高的微调技术，用于多模态输出学习
多模态输出生成
为了确保生成式 token 与生成模型精确对齐，研究人员开发了一个紧凑型映射模块，用于维度匹配，并引入了几个监督损失，包括文本空间损失和潜在扩散模型损失。文本空间损失有助于模型准确学习 token 的位置，而潜在扩散损失则直接将 token 与适当的视觉特征对齐。由于生成式符号的特征直接由图像引导，因此该方法无需完整的图像描述，实现了无描述学习
训练策略
鉴于文本域和图像域之间存在不可忽略的领域偏移，研究者发现直接在有限的文本和图像交错数据集上进行训练可能会导致错位和图像质量下降。
因此，他们采用了两种不同的训练策略来缓解这一问题。第一种策略包括采用无分类器引导技术，在整个扩散过程中提高生成 token 的有效性；第二种策略分两个阶段展开：最初的预训练阶段侧重于粗略的特征对齐，随后的微调阶段致力于复杂的特征学习。
实验及结果为了评估模型的效果，研究人员选择了多个基准进行了一系列评估。实验的目的是解决几个关键问题：
minigpt-5 能否生成可信的图像和合理的文本？在单轮和多轮交错视觉语言生成任务中，minigpt-5 与其他 sota 模型相比性能如何？每个模块的设计对整体性能有什么影响？为了评估minigpt-5模型在不同训练阶段上的性能，我们进行了定量分析，结果如图3所示：
为了展示所提模型的通用性和稳健性，我们对其进行了评估，涵盖了视觉（图像相关指标）和语言（文本指标）两个领域
vist final-step 评估
第一组实验涉及单步评估，即根据最后一步的 prompt 模型生成相应的图像，结果如表 1 所示。
在所有三种设置中，minigpt-5的性能都优于微调后的sd 2。值得注意的是，minigpt-5（lora）模型的clip得分在多种prompt类型中始终优于其他变体，尤其是在结合图像和文本prompt时。另一方面，fid分数凸显了minigpt-5（前缀）模型的竞争力，表明图像嵌入质量（由clip分数反映）与图像的多样性和真实性（由fid分数反映）之间可能存在权衡。与直接在vist上进行训练而不包含单模态配准阶段的模型（minigpt-5 w/o uas）相比，虽然该模型保留了生成有意义图像的能力，但图像质量和一致性明显下降。这一观察结果凸显了两阶段训练策略的重要性
vist multi-step 评估
在更详细全面的评估中，研究者系统地为模型提供了先前的历史背景，并随后在每个步骤中对生成的图像和叙述进行评估。
表2和表3总结了这些实验的结果，分别概述了图像和语言指标的性能。实验结果表明，minigpt-5能够利用长水平多模态输入提示在所有数据中生成连贯、高质量的图像，而不会影响原始模型的多模态理解能力。这突显了minigpt-5在不同环境中的有效性
vist 人类评估
如表 4 所示，minigpt-5 在 57.18% 的情况下生成了更贴切的文本叙述，在 52.06% 的情况下提供了更出色的图像质量，在 57.62% 的场景中生成了更连贯的多模态输出。与采用文本到图像 prompt 叙述而不包含虚拟语气的两阶段基线相比，这些数据明显展示了其更强的多模态生成能力。
mmdialog 多轮评估
根据表5的结果显示，minigpt-5在生成文本回复方面比基线模型divter更准确。尽管生成的图像质量相似，但与基准模型相比，minigpt-5在mm相关性方面更出色，这表明它能够更好地学习如何适当地定位图像生成，并生成高度一致的多模态响应
我们来看一下 minigpt-5 的输出结果，看看它的效果如何。下图 7 展示了 minigpt-5 在 cc3m 验证集上与基线模型的比较
下图8展示了minigpt-5与vist验证集上基线模型的比较
下图 9 为 minigpt-5 与 mmdialog 测试集上基线模型的比较。
更多研究细节，可参考原论文。
以上就是统一图像和文字生成的minigpt-5来了：token变voken，模型不仅能续写，还会自动配图了的详细内容。