在金融科技的浪潮中，人工智能技术的革新正引领着行业的深刻变革。特别是多模态技术的兴起，吸引了众多金融企业的密切关注。度小满，作为金融科技领域的佼佼者，近年来在多模态领域持续深耕，不断加速技术创新，与哈尔滨工业大学携手推出了SmartTrim技术，为金融业务的智能化转型注入了新的活力。
在多模态视觉语言大模型（VLM）的研究中，高昂的计算成本一直是阻碍其广泛应用的关键因素。为了解决这一难题，度小满与哈尔滨工业大学联合研发了SmartTrim自适应剪枝算法。这一创新成果不仅在国际自然语言处理顶级会议COLING 24上获得了认可，更在实际应用中展现了显著的计算效率提升。
SmartTrim技术的核心在于其自适应剪枝能力。该技术通过深入分析模型中各层的token表示和attention head的冗余性，能够智能地识别并去除不必要的计算负担。这一过程不仅考虑了token在单一模态中的重要性，还特别强调了跨模态交互中的关键作用，从而在保持模型性能的同时，实现了计算效率的大幅提升。
SmartTrim框架的实施依赖于两大关键组件：跨模态感知的Token修剪器和模态自适应的注意力头修剪器。Token修剪器利用多层感知器（MLP）结构，智能地识别并去除对当前层不重要的Token，这一过程综合考虑了Token在文本或图像序列中的独立重要性及其在跨模态交互中的贡献。而注意力头修剪器则直接集成在模型的自注意力模块中，通过评估并修剪冗余的注意力头，进一步优化了模型的计算效率。
在训练SmartTrim模型时，研究人员采用了双重优化策略，结合了任务相关目标和计算开销目标，通过重参数化技巧解决了不可导二值mask的问题，实现了模型的端到端训练。同时，自蒸馏和课程学习策略的引入，进一步提升了剪枝后模型的性能，确保了训练过程的稳定性和高效性。
实验结果表明，SmartTrim在METER和BLIP两个VLM上实现了2-3倍的加速，同时保持了极低的性能损失。特别是在1.5倍加速比下，SmartTrim的性能甚至超越了原始模型，展现出了卓越的计算效率和性能表现。这一成果不仅为模型优化提供了新的思路，也为金融科技的智能化转型提供了有力的技术支撑。
度小满表示，未来将继续深化与哈尔滨工业大学的合作，将SmartTrim技术整合到公司的轩辕大模型中，进一步推动大模型在金融领域的应用与发展。同时，度小满还将加快技术成果的孵化速度，借助前沿科技解决金融行业的系列难题，为金融行业的转型升级贡献更多力量。
