这项由华中科技大学电子信息与通信学院联合字节跳动Seed团队开展的研究发表于2026年3月，论文编号为arXiv:2603.15619v1。研究团队在处理大型语言模型深度扩展过程中的信息衰减问题方面取得了重要突破，提出了一种全新的深度混合注意力机制（MoDA），为构建更强大的AI系统提供了新的技术路径。

想象一下你在和朋友聊天，聊着聊着就忘记了开头说的重要信息。现在的大型语言模型也面临着类似的困扰——随着网络层数不断增加，早期处理的重要信息会逐渐被稀释，就像在传话游戏中，信息传递得越远，原始内容就越容易失真。这个问题在AI领域被称为"信息衰减"，是制约模型变得更聪明的关键瓶颈。

当前的解决方案就像给记忆力不好的人准备拐杖。传统的残差连接（ResNet风格）确实能帮助训练更深的网络，但它只是把所有历史信息压缩成一条单一的记忆线索，重要信息仍然会在这个过程中丢失。另一种方法叫做密集连接（DenseNet风格），虽然能保存更完整的历史信息，但代价是内存和计算开销呈平方级增长，在大型模型中根本无法承受。

华中科技大学和字节跳动的研究团队提出了一个巧妙的解决方案。他们的核心思路是让每个网络层不仅关注当前序列的信息，还能有选择地回顾之前所有层的关键信息。这就像给AI模型配备了一个智能秘书，不仅处理当前的任务，还能快速检索过往处理过的相关信息。

一、重新思考深度网络的信息传递方式

研究团队首先重新审视了深度网络的工作原理。他们把Transformer模块的工作过程分解为三个步骤：读取、操作和写入。在这个框架下，他们比较了几种不同的深度信息传递机制。

传统的残差连接采用"身份读取"和"加法写入"策略。具体来说，每一层直接读取前一层的输出，经过变换处理后，再与输入相加得到最终输出。这种方法的数学表达是每层的输出等于初始输入加上所有中间层变换的累加。虽然这种方法解决了梯度消失问题，使得深度网络的训练变得可能，但深度历史信息被不断叠加压缩到固定大小的张量中，导致早期的重要特征逐渐被稀释。

密集连接方法试图通过保存所有历史表示来解决这个问题。在读取阶段，它将所有前置层的表示线性投影后作为当前层的输入，在写入阶段则将当前层的输出与历史表示拼接起来。这种方法能够完全保留历史信息，因为拼接操作不会压缩信息。然而，其计算复杂度随层数平方增长，参数量也呈平方级扩展，这在大型语言模型中是无法承受的。

为了在保留历史信息和控制计算开销之间找到平衡，研究团队提出了深度注意力机制。这种方法在读取阶段使用注意力机制来自适应地访问历史深度键值对，在写入阶段将当前层的键值对拼接到深度流中供后续层使用。相比密集连接，深度注意力的计算复杂度降低了一个维度，从平方级降为线性级。

二、深度混合注意力的创新设计

在深度注意力的基础上，研究团队进一步提出了深度混合注意力机制（MoDA）。这个机制的核心创新在于将序列级别的注意力和深度级别的注意力融合到一个统一的softmax操作中。

具体而言，MoDA让每个注意力头不仅关注当前层的序列键值对，还能关注来自所有前置层的深度键值对。这两种信息源在同一个注意力矩阵中联合处理，所有注意力分数在统一的softmax函数下归一化。这种设计提供了一个统一的表示空间，使得模型能够根据当前任务的需要，自适应地分配注意力权重到序列信息和深度信息上。

在实现细节上，对于每个序列位置的查询，模型会构建一个扩展的键值序列，前半部分是标准的序列键值对，后半部分是该位置对应的深度键值对。通过掩码机制确保每个查询只能访问其对应的深度信息，维持了因果性约束。

在写入阶段，对于注意力层，当前层的键值对会被追加到深度流中供后续层访问。对于前馈网络层，研究团队设计了轻量级的键值投影，将前馈网络的输入投影为对应的深度键值对。这样确保了深度流中既包含注意力层的信息，也包含前馈网络层的信息。

三、复杂度分析与效率优化

研究团队对不同深度信息传递机制进行了详细的复杂度分析。在参数复杂度方面，密集连接的参数量随层数和模型宽度呈平方增长，深度注意力将其降低到线性增长，而MoDA通过重用序列注意力的查询投影，在使用分组查询注意力（GQA）的设置下，进一步将参数复杂度优化到最低。

在缓存复杂度方面，三种方法在解码和预填充阶段的缓存开销都呈线性增长，但MoDA的常数因子更小。在计算复杂度方面，密集连接在解码和预填充阶段都包含平方项，而深度注意力和MoDA都将主导项控制在线性级别。

为了确保MoDA在实际部署中的效率，研究团队开发了硬件感知的实现方案。他们首先设计了Flash兼容的深度键值布局，将深度缓存沿单一轴展开为长度为T×L的连续内存，使得每个查询只需要映射到对应的深度范围来访问正确的深度键值切片。

然而，这种布局在深度分数矩阵中只有块对角区域是有效的，导致深度利用率较低。为此，研究团队进一步提出了块感知的深度键值布局。查询被分成块，每个块只访问其覆盖范围对应的局部深度键值区域，而不是扫描全局深度轴。这种局部布局大幅减少了来自掩码区域的不必要内存传输，将深度利用率从1/T提升到1/C（其中C是块大小）。

考虑到分组查询注意力的特性，研究团队还设计了组感知的深度键值计算。由于G个相邻的查询行共享相同的基时间索引，它们可以重用相同的深度键值块。在融合的块矩阵乘法和掩码执行下，这进一步将有效深度利用率提高到G/C。

四、硬件高效实现算法

为了解决原始实现中的非连续内存访问问题，研究团队开发了硬件感知的融合算法。该算法遵循分组感知映射，将查询和键值张量分块处理，每个查询块都与分组大小对齐以避免跨组边界处理。

算法的核心是重用在线softmax状态来融合序列和深度注意力计算。对于每个查询块，算法首先初始化在线softmax状态，然后依次处理完全可见的序列键块、边界序列键块和深度键块。在每个阶段，都使用相同的在线softmax更新函数来累积注意力分数和输出，最后进行一次归一化即可得到最终结果。

这种设计避免了中间结果的内存存储，使得序列和深度信息能够在统一的softmax操作下无缝融合。通过精心设计的内存访问模式和计算流水线，该实现在64K序列长度下达到了FlashAttention-2效率的97.3%。

五、实验验证与性能分析

研究团队在多个模型规模和数据集上验证了MoDA的有效性。他们使用OLMo2数据集训练了700M和1.5B参数的模型，训练数据量为400B个token。实验采用分组查询注意力，全局批次大小为1024，上下文序列长度为4096，使用bfloat16精度训练。

在1.5B参数规模的主要实验中，MoDA相比OLMo2基线模型在10个验证基准上平均降低了0.2的困惑度，在10个下游任务上平均提升了2.11%的性能，而计算开销仅增加了3.7%的FLOPs。这些提升在统计上是显著且一致的。

研究团队还进行了详细的消融研究，分析了MoDA不同组件的贡献。结果显示，仅使用深度键值就能显著改善性能，在保持相同参数量的情况下，训练困惑度改善0.41，C4验证困惑度改善0.11，下游任务平均性能提升1.17。进一步添加前馈网络的深度键值投影能带来额外的改进，而额外的注意力键值投影则接近饱和，收益递减明显。

六、深层次分析与可视化研究

为了更好地理解MoDA的工作机制，研究团队进行了注意力可视化分析。可视化结果显示，在联合softmax公式下，模型确实在深度键值块上分配了非平凡且持续的注意力权重，特别是在中间层和后期层。这表明模型主动检索跨层深度信息，而不是仅依赖序列局部上下文。

有趣的是，研究团队发现不同类型的注意力头表现出互补的模式。对角序列注意力较为尖锐的头仍然会将部分概率分配给深度位置，而更宽泛的头则倾向于更多地依赖深度键值条目。这种分工协作机制使得模型能够同时处理局部序列依赖和全局深度信息。

另一个重要发现是，MoDA展现出了与典型注意力汇聚行为不同的模式。传统模型往往将大量注意力权重集中在少数几个固定的汇聚位置，而使用MoDA的模型的注意力分布更加广泛，覆盖了更多可能携带有用信息的序列和深度位置。这种改变可能指向了超出原始设计动机的额外机制，值得进一步研究。

七、不同深度设置下的表现

研究团队还测试了MoDA在不同层数设置下的表现。他们使用FineWeb-Edu数据管道在小型模型上进行了层数分析，比较了48层深层模型和24层浅层模型的表现。

实验结果表明，深度键值在不同层数设置下都能一致地改善验证损失。对于48层模型，在预归一化设置下，添加深度键值将损失从3.3800降低到3.3759，在后归一化设置下从3.4062降低到3.3653。对于24层模型，验证损失从3.4740降低到3.4537。

特别值得注意的是，在更深的模型中，后归一化配置从深度键值中获得的收益比预归一化更大。在48层设置下，后归一化的损失改善为0.0409，而预归一化仅为0.0041。这表明在深层网络中，深度键值对后归一化配置的优化影响更为显著。

八、效率优化的渐进式改进

为了量化各种核心实现策略的实际效率贡献，研究团队进行了渐进式消融实验。实验在固定配置下比较了从朴素PyTorch实现到完全优化实现的各个阶段。

结果显示，Flash兼容的深度键值布局相比朴素实现就能提供数个数量级的加速，运行时间从2128.900毫秒降至13.102毫秒，约162.5倍的提升。在此基础上，块感知的深度键值布局进一步将运行时间减少到6.286毫秒，相当于额外52.0%的改进。最后，组感知索引将运行时间最终优化到1.460毫秒，又带来了4.31倍的加速。

总体而言，三种优化技术的结合相比朴素基线实现了约1458倍的端到端加速，证明了硬件感知设计的重要性。这种优化确保了MoDA能够在实际的大规模训练场景中部署，而不仅仅是一个理论上有效但实用性有限的方案。

九、工业化部署的前景与挑战

虽然当前的硬件感知MoDA内核已经达到了与FlashAttention-2相当的效率，但研究团队也坦承，要在工业级万亿参数模型训练中部署，仍需要额外的CUDA工程优化。这些优化包括改进内存调度、深化计算流水线，以及在融合注意力内核与分布式通信之间实现更紧密的重叠。

针对超深网络中深度键值状态缓存带来的内存瓶颈，研究团队提出了有界深度键值槽缓存的解决思路。核心思想是使用固定大小的深度键值槽缓冲区，而不是存储所有深度键值条目。每个查询只关注有界的槽集合，槽预算固定为S（S远小于L），系统动态决定保留哪些深度键值条目。

这种设计可以采用两种策略。动态选择策略根据效用对候选深度键值条目进行评分，保留评分最高的条目。滑动窗口策略则保留最近的深度键值条目，淘汰较旧的条目。混合设计也是可能的，其中部分槽位保留给最近的条目，其余用于高评分的全局记忆。

这种设计将有效深度记忆从无界缓存变为有界缓存，内存和带宽开销从深度依赖扩展变为槽依赖扩展。同时为融合内核实现提供了稳定的张量形状。实践中的关键挑战是槽分配的质量，未来工作需要研究如何与MoDA联合训练选择策略，以及如何在固定槽预算下平衡质量、延迟和硬件效率。

说到底，这项研究展示了一种全新的思路来解决深度网络中的信息传递问题。MoDA不是简单地增加参数或计算量，而是巧妙地重新组织了信息的读取和写入方式，让模型能够更有效地利用其深度结构。从某种程度上说，这为构建更深层、更强大的AI系统提供了一个可行的技术路径。

当然，就像任何新技术一样，MoDA也还有改进空间。如何进一步优化其在超大规模模型中的表现，如何与其他先进技术更好地结合，这些都是值得继续探索的方向。不过从目前的结果来看，这个方向是很有前景的，可能会成为未来大型语言模型发展的重要技术基础之一。对于想要深入了解这项技术细节的读者，可以通过论文编号arXiv:2603.15619v1查找完整的研究报告。

Q&A

Q1：深度混合注意力机制MoDA是什么？

A：MoDA是华中科技大学与字节跳动提出的一种新型注意力机制，它让AI模型的每个注意力头不仅关注当前层的信息，还能有选择地回顾之前所有层的关键信息，就像给AI配备了一个智能秘书，既处理当前任务又能快速检索过往相关信息。

Q2：MoDA相比传统方法有什么优势？

A：传统的残差连接会导致早期重要信息被稀释，密集连接虽能保留完整信息但计算开销过大。MoDA通过统一的注意力机制自适应地访问历史深度信息，在仅增加3.7%计算开销的情况下，在1.5B参数模型上实现平均2.11%的下游任务性能提升。

Q3：MoDA技术什么时候能应用到实际产品中？

A：目前MoDA已经实现了高效的硬件实现，在64K序列长度下达到FlashAttention-2效率的97.3%。研究团队已开源完整实现代码，但要在工业级万亿参数模型中部署，还需要进一步的CUDA工程优化和内存管理策略改进。