DeepSeek提出了一种名为 mHC （流形约束超连接）的新架构，旨在解决传统超连接在大规模模型训练中的不稳定性问题，同时保持其显著的性能增益。
该架构通过将传统 Transformer 的单一残差流扩展为多流并行架构，并利用 Sinkhorn-Knopp算法将连接矩阵约束在双拟随机矩阵流形上，成功解决了超连接（HC）在大规模训练中因破坏恒等映射属性而导致的数值不稳定和信号爆炸问题。
这篇论文的第一作者有三位：Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、Huanqi Cao。值得注意的是，DeepSeek 创始人 & CEO 梁文锋也在作者名单中
