在人工智能领域，大型语言模型的发展正面临一个关键挑战：随着网络层数的不断增加，模型在处理早期信息时会出现明显的衰减现象，就像人类在长对话中逐渐遗忘开头的重要内容。针对这一难题，华中科技大学电子信息与通信学院与字节跳动Seed团队联合研发出一种创新的深度混合注意力机制（MoDA），为构建更强大的AI系统提供了新的技术路径。
研究团队深入分析了现有解决方案的局限性。传统的残差连接方法虽然能够帮助训练更深层的网络，但会将所有历史信息压缩成单一的记忆线索，导致重要信息在传递过程中逐渐丢失。而密集连接方法虽然能够完整保留历史信息，却需要承受内存和计算开销呈平方级增长的代价，这在大型模型中难以实际应用。针对这些痛点，MoDA机制创造性地让每个网络层既能处理当前序列信息，又能有选择地回顾之前所有层的关键信息。
MoDA的核心创新在于将序列级注意力和深度级注意力融合到统一的softmax操作中。具体实现上，每个注意力头不仅关注当前层的序列键值对，还能访问所有前置层的深度键值对。这种设计使模型能够根据任务需求，自适应地分配注意力权重到序列信息和深度信息上。研究团队通过精心设计的掩码机制，确保了信息访问的因果性约束，同时开发了轻量级的键值投影方法，使深度流中既包含注意力层信息，也包含前馈网络层信息。
在效率优化方面，研究团队取得了显著突破。他们提出的块感知深度键值布局将查询分成块，每个块只访问对应的局部深度键值区域，大幅减少了不必要内存传输。通过分组查询注意力特性设计的组感知计算方法，进一步将有效深度利用率提升至新水平。这些创新使MoDA在64K序列长度下的运行效率达到FlashAttention-2的97.3%，同时将参数复杂度优化至最低水平。
实验数据显示，MoDA在多个评估维度上表现出色。在1.5B参数规模的模型测试中，相比基线模型在10个验证基准上平均困惑度降低0.2，在10个下游任务上平均性能提升2.11%，而计算开销仅增加3.7%。注意力可视化分析揭示，模型确实在深度键值块上分配了持续的注意力权重，特别是在中间层和后期层。不同类型的注意力头展现出互补的工作模式，共同处理局部序列依赖和全局深度信息。
研究还发现，MoDA在不同深度配置下均能稳定提升性能。在48层深层模型测试中，后归一化配置从深度键值中获得的收益比预归一化配置更大，验证损失改善达0.0409。效率优化实验表明，三种核心实现策略的结合相比基础实现实现了约1458倍的端到端加速，充分证明了硬件感知设计的重要性。
针对工业化部署挑战，研究团队提出了有界深度键值槽缓存的创新思路。该方案使用固定大小的深度键值槽缓冲区，通过动态选择或滑动窗口策略管理深度记忆，将内存和带宽开销从深度依赖扩展转变为槽依赖扩展。这种设计不仅为融合内核实现提供了稳定的张量形状，还为超大规模模型训练中的内存管理提供了新的解决方案。
