在图像处理领域，一项突破性的进展近日由美图影像研究院（MT Lab）携手北京交通大学共同揭晓。他们研发了一种名为MEMatte的高效内存抠图框架，专为高分辨率图像设计，尤其适用于显存资源有限的商业显卡和边缘设备。
随着摄影技术的飞速发展，日常拍摄图像的分辨率已轻松跨越4K，迈向8K时代。这些高清图像不仅带来更为细腻的视觉享受，还为图像和视频编辑提供了更为丰富的素材。然而，高清图像抠图任务对技术提出了更高要求，特别是在细节保留和语义理解方面。
近年来，Transformer架构，特别是ViT（Vision Transformer），在自然图像抠图领域展现了显著优势。其全局注意力机制擅长捕捉图像内容的长程依赖关系，但这一优势在高分辨率图像面前却成了计算资源的沉重负担。ViT的全局注意力计算开销巨大，且抠图任务要求同时保留细节和语义信息，使得降采样或图像切片等方法难以应用。
针对这一挑战，研究团队提出了创新的双分支令牌路由设计。MEMatte框架中，包含语义信息的令牌被送入全局注意力模块处理，而其余令牌则通过轻量化的令牌提炼模块（LTRM）进行优化。这一设计通过动态路由机制（BATR）实现令牌分流，无需预设固定比例，能够根据输入图像自适应调整。
实验结果显示，MEMatte在显存消耗方面显著优于现有方法，能够在Nvidia GeForce 2080Ti商用GPU上实现4K分辨率图像的抠图任务。研究团队还开源了超高分辨率自然图像抠图数据集UHR-395，该数据集包含395个前景物体，平均分辨率高达4872×6017，为高分辨率抠图模型的训练和评估提供了有力支持。
MEMatte的推理过程巧妙融合了局部与全局信息。在ViT编码器的每个全局注意力模块前，都设有一个路由器，通过局部-全局策略评估令牌的重要性。这一策略不仅考虑了局部细节，还通过全局池化操作捕捉整体语义信息，确保分流结果的准确性和有效性。
LTRM模块由多个轻量化组件构成，包括映射层、深度卷积层和高效通道注意力层，负责处理分流到全局注意力之外的令牌。这一设计在保证抠图质量的同时，大幅降低了计算开销。
在通用抠图基准Composition-1K上，MEMatte相比基线方法节省了约88%的显存开销，并降低了约50%的推理时间。在高分辨率测试集UHR-395上，MEMatte同样表现出色，展现了良好的泛化性能。
MEMatte的成功不仅在于其高效的内存管理和计算性能，更在于其背后的创新设计理念。通过动态令牌路由和轻量化令牌提炼，研究团队成功解决了高分辨率图像抠图任务中的计算资源瓶颈问题，为图像和视频编辑领域带来了更为广阔的应用前景。
