多模态视觉语言模型

Mini-Gemini是一个简单而有效的框架，用于增强多模态视觉语言模型（VLMs），由中国香港中文大学和 SmartMore 的研究人员共同推出。Mini-Gemini支持一系列密集和MoE大型语言模型（LLMs），从2B到34B。为了增强视觉token，该框架建议在不增加视觉token数量的情况下，利用额外的视觉编码器进行高分辨率细化。同时，Mini-Gemini还构建了一个高质量的数据集，以促进精确的图像理解和基于推理的生成，从而扩大当前VLM的操作范围。