2B多模态新SOTA，华科、华南理工发布Mini-Monkey，专治“切分增大分辨率”后遗症

小大

用微信扫描二维码
分享至好友和朋友圈

关键词：

2024-08-13 13:42:30 网易订阅

近期，多模态大模型处理高分辨率图像的性能优化成为了研究热点。以往的多数方法集中于图像切分与融合策略，以增强模型对图像细节的理解，但这种做法可能导致目标和连续区域的割裂，尤其是在文档理解任务中，文字断裂的问题尤为突出。

针对这一难题，华中科技大学与华南理工大学合作推出了一款名为Mini-Monkey的轻量级多模态大模型。该模型创新性地采用了多尺度自适应切分策略（MSAC）和尺度压缩机制（SCM），有效解决了传统图像切分策略的弊端，显著提升了模型在高分辨率图像和文档理解任务上的性能。Mini-Monkey在多个基准测试中均取得了领先地位，充分展示了其在多模态理解与文档智能领域的潜力。

MSAC策略让Mini-Monkey能够自动生成多尺度的图像表示，确保模型能从不同尺度中识别完整的对象，避免了因切分造成的识别障碍。而SCM则是一种无参数的机制，用于在保持高效计算的同时，筛选出关键的视觉特征，进一步优化了模型的效率和性能。

实验结果显示，Mini-Monkey不仅在文档智能任务上取得了优异成绩，还在广泛的多模态理解任务中实现了性能提升，与更大参数量的模型相比，如GLM-4v-9B，Mini-Monkey在OCRBench测试中得分高达802，展现出其作为2B参数量模型的顶尖状态。

研究还通过与其他切分策略的对比，证明了MSAC策略的有效性和普适性，它能够显著减少因图像切分造成的语义不连贯，如对象识别错误和文字分割不当等问题。Mini-Monkey在处理包含复杂、模糊文本的古籍图像时，相较于MiniCPM-V 2.6、InternVL2-2B和GPT-4o等模型，展现出了更准确的文本提取能力。

综上，Mini-Monkey模型及其采用的MSAC与SCM技术，为多模态大模型在处理高分辨率图像和提高文档理解能力方面提供了一个新的、高效的研究方向，标志着在克服传统切分策略局限性上迈出的重要一步。

2B多模态新SOTA，华科、华南理工发布Mini-Monkey，专治“切分增大分辨率”后遗症。

(责任编辑：卢其龙 CN070)

关闭

2B多模态新SOTA，华科、华南理工发布Mini-Monkey，专治“切分增大分辨率”后遗症

相关新闻

今日热点

频道热点