阿里达摩院的团队开源了最新的多模态大模型mPLUG-Owl，通过多语言微调，使得模型能够支持多语言对话，不仅包括中文，力，还能在法语、日语、葡萄牙语等多种语言上进行对话。
它的视觉理解能力远超visual GLM，对比visual GLM傻愣愣的理解，分不清图片里是什么，mPLUG-Owl明显更准确一些。mPLUG-Owl在预训练阶段放弃了训练模态转换模块的方式，不再冻结视觉端，而是直接将视觉端打开进行训练。在指令微调阶段，mPLUG-Owl使用了两种微调数据：纯文本指令数据和多模态指令数据（图片及其文本）

Demo示例:网页链接
github项目地址：网页链接
论文：网页链接

示例

有的回答还行，但对于图片中的文字理解还是不行，同一张图片有多个场景也会理解错误