这项由浙江大学计算机科学与技术学院与香港理工大学航空工程系联合开展的研究，以预印本形式于2026年7月30日发布，论文编号为arXiv:2607.28308。有兴趣深入了解的读者可通过该编号查询完整原文。
当你组建一支团队来完成一项复杂任务时，通常会希望每个成员各有所长、互不重叠——厨师负责烹饪，会计负责账目，程序员负责代码。这个朴素的直觉，长期以来也被应用在人工智能领域最前沿的大型语言模型设计上。然而，这支来自浙大和香港理工的研究团队经过系统性的实验分析后发现，现实中的AI专家系统远比我们想象的复杂，而且更加微妙——专家们的工作方式根本不是"各司其职、互不干涉"。
这篇研究的核心问题其实非常直白：当一个强大的AI语言模型在处理一段文字时，它会同时调用好几个"专家"来协作完成任务，这些专家究竟是在各自做不同的事、互相补充，还是其实在做很相似的事、彼此重叠？这个问题不只是学术兴趣，它直接影响着我们如何压缩AI模型、如何设计更高效的系统，甚至影响着我们对AI工作原理的根本理解。
一、先弄清楚：什么是"稀疏专家混合模型"
要理解这篇研究，需要先认识一类被广泛使用的AI架构——"稀疏专家混合模型"，英文缩写为MoE（Mixture of Experts）。Mixtral、DeepSeek、OLMoE这些最近几年让业界津津乐道的大型语言模型，都采用了这种架构。
可以把一个MoE模型想象成一家超大型餐厅的后厨，厨房里有几十上百位厨师，但每次接到一道菜的订单时，只有其中少数几位厨师会被叫出来参与烹制。这样做的好处是整体人力资源庞大（模型参数众多），但每次实际出动的人手精简（计算量小），兼顾了"博学"和"高效"。
在这个类比里，决定"叫哪几位厨师"的那个机制，就叫做"路由器"（router）。路由器会根据当前需要处理的词语（"token"，可以理解成文字片段），从所有厨师中挑选出评分最高的几位，这被称为"Top-k路由"——比如Top-2就是每次挑出得分最高的两位，Top-8就是挑出八位。
长期以来，学界有一个流行的假设：被选中的这几位厨师之所以都有价值，是因为他们每人擅长的菜系都不一样、技能互不重叠。第一位擅长粤菜，第二位擅长川菜，第三位擅长法餐……这样组合起来，才能覆盖这道复杂菜肴的各个方面。这个假设被称为"几何互补性"——专家们的知识空间应该是互相分离、各自独立的几何方向。
但浙大团队对此产生了疑问：真的是这样吗？
二、研究者设计了三层"验证拼图"
为了系统地检验这个假设，研究团队没有简单地测量一下"专家们像不像"就下结论，而是把整个问题拆解成三个层次的独立问题，各自设计了对应的实验工具，并在六个主流MoE架构上进行了大规模验证。这六个模型分别是：小而精悍的OLMoE（拥有1B激活参数/7B总参数，每次激活64个专家中的8个）、颇具代表性的Mixtral-8x7B（每次激活8个专家中的2个）、DeepSeek-MoE-16B（设有2个共享专家加上64个可路由专家，每次额外激活6个）、以及Qwen3-30B、Gemma4-26B、Qwen3.6-35B这三个更大规模的现代模型。
第一层问题是：各个专家在几何上真的分得很开吗？为此研究团队发明了一个叫做"专家子空间分离指数"（Expert Subspace Separation Index，简称ESSI）的测量工具。用厨师比喻来解释：ESSI衡量的是不同厨师各自擅长的菜系有多大的差异，但参考基准不是绝对距离，而是每位厨师自身风格的变化幅度。如果一位厨师自己的风格本来就变化很大，那他和另一位厨师之间的差异看起来就没那么显著；反过来，如果各厨师自身风格很稳定，而彼此之间的差异才是真正显著的，那ESSI就会远大于1。
第二层问题是：就算专家们几何上有重叠，实际被选中的那套组合是不是真的比随机选的组合更好？这是在问路由器是否真的在做出有意义的选择。
第三层问题也是最关键的：假设某个专家被选中了，它的"价值"是不是特别依赖于它和哪些其他专家一起被选中？换句话说，厨师A的价值，是不是因为他的搭档是厨师B而不是厨师C才得以发挥？研究团队为此设计了一个精妙的"2×2因子实验"。
这个2×2实验的设计思路如下：固定一个被选中的"目标专家"（比如厨师A）和一个未被选中的"竞争者专家"（比如厨师X），然后分别在"实际的协作团队"和"换一套协作团队"两种情境下，测量这两位专家各自能贡献多少新的价值。如果"几何互补性"假设成立，那么目标专家A在"实际团队"里的相对优势，应该远大于他在"换一套团队"里的相对优势——因为正是实际的团队搭配才激发了他的独特价值。这个差值就是所谓的"交互项D"。
三、第一个发现：专家们其实住在同一个"知识街区"
测量结果在六个模型、18个分析层的数据面前给出了明确的答案：ESSI的数值范围在0.776到1.060之间，中位数是0.969。
这个数字意味着什么？用厨师比喻来说，就是不同厨师之间的菜系差异，大概和同一位厨师自己今天和明天做菜的风格差异差不多大。专家与专家之间并没有形成截然分开的知识领地，它们其实住在同一个"知识街区"里，彼此相互覆盖、大量重叠。
进一步的"全局核心重叠"分析也印证了这一点：当研究团队把整个模型层的所有输入表示提炼出一个"公共核心"时，发现每个专家的知识空间中，大约27%-44%（在64维度时）到77%-98%（在512维度时）都与这个公共核心重合。也就是说，大部分专家其实都在处理非常相似的基础信息，只是在细节上有所不同。
这个发现让"各司其职"的直觉假设遭遇了第一次严峻的挑战。
四、第二个发现：专家重叠不等于路由器无效
然而，专家们知识空间的重叠，是否意味着路由器随便选哪几个专家都没差？研究团队对这个问题给出了否定的回答。
他们的做法是：对于每一个词语，把实际被选中的那套专家组合处理完之后剩下的"未被覆盖的信息量"，和用"同等规模但随机匹配的替代组合"处理后剩下的未覆盖信息量相比较，看哪种情况下剩余的信息更少（即覆盖更完整）。
结果在全部18个"模型×层数"的测试格子里，实际选中的组合都比替代组合覆盖得更好，比值范围从1.012到1.901，中位数1.283。这意味着实际的路由选择平均而言能多覆盖28%的信息，最多时甚至能多覆盖90%。
用厨师比喻来说：虽然餐厅里的厨师们技能有大量重叠，但路由器（那个负责选人的调度员）确实能在这堆相互重叠的厨师里，挑出对当前这道菜最合适的几位搭档。这叫"相干路由"——路由器是有辨别力的，尽管它选择的目标不是技能最分散的组合，而是与当前任务最相关的组合。
五、第三个发现："同伴效应"不但不是正的，还是负的
现在来到了最关键也最反直觉的发现。
按照"几何互补性"假设，如果某个专家A能和其他专家互补，那么在实际搭档团队中，A应该比在随机搭档团队中表现出更高的额外贡献值——也就是说，交互项D应该是正数。
实验结果呢？在OLMoE、Mixtral和DeepSeek三个模型的全部39个测试格子里，交互项D全部为负，而且每个格子的95%置信区间都完全在零以下。OLMoE和Mixtral的D值范围在–0.1020到–0.0111之间，综合估计为–0.05548（置信区间[–0.05780, –0.05340]）；DeepSeek的D值范围在–0.08773到–0.01022之间，综合估计为–0.05770（置信区间[–0.06165, –0.05405]）。
这是什么意思？还是回到厨师比喻：假设你已经有了一支实际搭档团队——这支团队是路由器精心选出来的，他们共同覆盖了这道菜的大部分关键要素。此时，你想看看厨师A在这个团队里还能额外贡献多少没被覆盖的新内容。结果发现，正是因为这支团队太"对路"了，他们早已把A能贡献的大部分要素都提前覆盖掉了，A能额外贡献的空间反而被大大压缩了。
换一组随机搭档团队来陪A，因为那组团队不那么精准，反而留下了更多"空白"让A来填补。
研究团队把这种现象称为"几何饱和"：实际的协作团队因为高度针对当前词语，把可用的几何空间几乎用完了，导致每个新加入的专家能贡献的"新鲜方向"越来越少。
进一步的分析还发现，在所有可能的前缀搭档中，实际被路由器选定的那套搭档，反而让目标专家的线性贡献分位数排到了接近垫底的位置——分位数范围在0.006到0.154之间（OLMoE/Mixtral），意味着如果有6种可能的搭档，实际搭档往往是让目标专家线性贡献最小的那种情形之一。
六、那么，为什么多个专家还是有用？
这里研究者遭遇了一个看起来像悖论的情况：路由器选出了一套让每个专家"线性新贡献"都非常小的团队，但这套路由同时又比随机团队覆盖效果更好。更关键的是，就算线性新贡献很小，加入这些额外的专家真的还有用吗？
为了回答这个功能性问题，研究团队进行了"冻结路由干预实验"：他们把路由器的选择结果固定下来，然后逐步向当前的处理过程中添加更多专家，测量每加入一个新专家后，模型预测下一个词语的错误率（负对数似然，NLL）是否有所下降。
结果在39个测试格子中，有24个格子的添加操作显著降低了预测错误率（置信区间明确大于零），另外15个格子结果不确定（置信区间包含零）。其中OLMoE在21个格子中有17个呈正向改善，Mixtral三个层次全部正向改善，DeepSeek有4个正向改善和11个不确定。
关键的数据点是：在OLMoE第16层，从第1个专家加到第2个专家，预测错误率下降了0.0906（置信区间[0.0836, 0.0975]）；而从第7个专家加到第8个，只下降了0.0030（置信区间[0.0021, 0.0039]）。效益递减非常明显，但不为零。
这个结果说明：尽管后来加入的专家在线性几何空间上没什么新意，它们仍然可以提供非线性的计算价值。就像一道菜，就算所有厨师擅长的食材种类很相似，但每个人炒菜的手法、火候控制、调味方式不同，叠加在一起的最终成品还是比只有一个人做出来的要好。
研究团队还比较了谁更重要——是得分最高的"领头专家"，还是所有其他专家的集体贡献？在九个模型×层次的测试里，有七个显示替换领头专家造成的预测损害更大，说明领头专家通常更重要。但在OLMoE第8层和第16层，情况发生了翻转——替换掉所有其他七个专家造成的损害，反而超过了替换领头专家的损害，在第16层这个差值高达0.0848 NLL（置信区间[0.0724, 0.0971]）。这说明，即使在领头专家很强势的模型里，其余专家的集体贡献也不可忽视。
七、精心设计的对照实验：Top-1对比Top-2
为了更干净地验证"多个专家是否真的有价值"，研究团队还设计了一个受控的从头训练实验，在完全匹配计算量的前提下，对比使用"1个宽专家"与"2个窄专家"的效果。
具体设计是一个六层的小型MoE模型，Top-1配置使用4个宽度为1024的专家，Top-2配置使用8个宽度为512的专家。两种配置的有效中间层容量完全相同（都是1024），总参数量只相差0.04%（27,108,608对27,114,752），每个词语的实际计算量也只相差0.04%（36,777,984对36,790,272个浮点运算）。换句话说，这是在尽可能公平的对比条件下，测试"分给2个专家"还是"集中给1个专家"哪个更好。
三个随机种子的训练结果（各训练2000万词语）：Top-2的验证损失分别为5.124888、5.128909、5.117210，而Top-1的验证损失分别为5.229414、5.228661、5.217812。综合差值为0.1016±0.0025，三次训练全部是Top-2获胜。
这个实验的意义在于，即使参数量和计算量几乎相同，把专家分得更细、数量更多，模型的学习效果就是更好。理由不在于每个专家覆盖了完全不同的知识方向，而在于多个专家能执行不同的非线性变换，在功能层面形成了互补。
八、究竟什么是"相干重叠"？
综合以上所有发现，研究团队提出了一个新的概念来描述MoE路由的真实工作方式，他们称之为"相干重叠"（Coherent Overlap）。
这个概念包含三层相互联系的含义：专家们的知识空间在几何上是大量重叠的，并不是各自占据独立角落；但路由器的选择是有辨别力的，它能从这群相互重叠的专家中选出一套对当前词语最贴切的组合；这套组合的价值不是来自于每个专家贡献了完全不同的线性方向，而是来自于每个专家执行了不同的非线性计算——相同的输入空间，不同的处理方式，叠加出更好的输出。
用一个生动的比喻来理解：假设你有一首钢琴曲，同时请三位风格相似的钢琴家来演奏。从演奏曲目的"知识空间"来说，他们三人几乎完全重叠——都在弹同一首曲子，同样的音符、同样的基本结构。但三位钢琴家在细节处理、情感表达、踏板使用上的微妙差异，叠加成了一种单一演奏者无法实现的丰富层次感。路由器的工作，则是从整个乐团中挑出最适合当前乐段情绪的三位搭档，而不是技能差异最大的三位。
九、这些发现对AI领域意味着什么
这项研究不只是在揭示一个有趣的现象，它对AI模型的设计、压缩和理解都有实际影响。
对于模型压缩领域，一个常见的做法是把"几何空间上相似的专家"认定为冗余并加以裁剪。但这项研究表明，几何上的相似不等于功能上的冗余——两个专家可能处理的输入方向高度相似，但因为各自执行了不同的非线性变换，把其中一个去掉仍然会损失预测质量。研究团队因此建议：在裁剪、合并或跳过某个专家之前，必须先测试它被去掉之后对实际预测结果的影响，而不能仅凭输入空间的几何相似度来判断。
对于路由器设计，这项研究揭示了一个之前被混淆的概念区分：路由器的有效性不在于"让被选中的专家各自覆盖不同的知识方向"，而在于"从所有专家里选出最适合当前词语的那批搭档"。这两件事乍看相似，实则完全不同，也意味着评价路由器好坏的标准需要重新考量。
对于自适应路由的设计，研究团队还指出，简单地增加专家多样性约束（让专家之间的几何距离尽量大）未必能提升预测质量，因为多专家的价值来自非线性计算的组合而非线性方向的覆盖。更有效的策略或许是直接估计"再加一个专家对预测的实际改善量"，然后根据计算预算动态决定用几个专家。
十、研究方法的技术细节：如何把直觉变成可测量的量
为了让读者对研究的严谨性有更直观的感知，稍微深入介绍一下核心方法的技术细节。
ESSI的计算方式是：为每个专家拟合一个128维的"全局基底"（可以理解为这个专家被分配到的所有词语在知识空间中所跨越的方向）；同时为每个专家的不同子区域拟合一系列"局部切线基底"（代表该专家在局部区域内知识方向的变化幅度）。专家之间距离的测量使用了一个叫做"Grassmann流形上的弦距离"的数学工具——简单来说，它测量的是两个知识方向集合之间的夹角分布，0代表完全重合，1代表完全垂直。ESSI就是这个专家间距离除以专家内部局部切线距离的比值，如果结果接近1，说明专家间的差异程度与每个专家自身内部的变化程度差不多大。
2×2因子实验则使用了一个叫做"分数新颖度"的指标来量化每个专家在给定上下文中的额外贡献：先计算当前词语在前几个专家已经覆盖之后剩余的"未解释能量"，然后看加入目标专家后这个未解释能量减少了多少百分比。这个指标会随着前缀长度的增加而递减——越多专家已经处理过，剩下可以被新专家覆盖的方向就越少。
整个实验体系经过了三种敏感性分析（原始收益、最近残差匹配、严格校准门槛），以及独立的CPU端SVD数值交叉验证，确认所有数值误差都在容忍范围之内（最大残差差异2.10×10??，最大投影差异1.77×10??，均低于指定阈值）。
说到底，这项研究做的事情，是用数据和精心设计的实验推翻了一个听起来很合理的直觉——"多个专家之所以有用，是因为每个专家都在做别人没做的事"。研究结果告诉我们，实际情况更微妙：专家们在知识空间上高度重叠，路由器是在挑最贴合当前任务的搭档，而多专家的价值来自于在相同的信息输入上执行多种不同的变换操作，是一种"同频共鸣"而非"各取所需"。
这意味着评估一个AI专家是否有价值，不能只看它的知识领域像不像其他专家，还要看它实际能不能改善最终的输出质量。对于正在研究如何优化、压缩、或重新设计AI大模型的工程师和研究者来说，这个区分既关键又容易被忽视。下一次有人声称"这些专家太相似了可以合并掉"时，不妨先问一句：有没有实际测试过去掉它之后预测质量是否下降？
这项研究的结论对整个MoE模型设计领域都是一个提醒：几何直觉是重要的出发点，但必须用功能性实验来最终验证任何关于冗余或价值的判断。感兴趣深入探索这一课题的读者，可通过论文编号arXiv:2607.28308查阅完整原文，其中附录部分还有完整的39个实验格子的逐一数据，以及三套敏感性分析的详细结果。
Q&A
Q1：MoE模型中的"专家"是什么，它们如何被选择？
A：MoE模型中的"专家"是多个并行的神经网络模块，每个专家负责对输入进行不同的计算变换。一个叫"路由器"的机制会根据当前处理的词语，从所有专家中挑出得分最高的几个（比如Top-2或Top-8）来参与处理，其余专家不参与，这样做既保留了大容量，又节省了每次处理的计算量。
Q2："相干重叠"和传统"几何互补"假设有什么本质区别？
A：传统"几何互补"假设认为被选中的多个专家各自覆盖不同的知识方向，互不重叠、各司其职。"相干重叠"则是浙大团队发现的实际情况：专家们的知识空间高度重叠，但路由器能选出对当前词语最贴合的搭档组合，多专家的价值来自于在相同信息上执行不同的非线性计算，而非覆盖不同的线性方向。
Q3：专家知识空间重叠对AI模型压缩有什么影响？
A：这个发现提示AI模型压缩时不能仅凭专家之间几何上的相似度来判断某个专家是否可以裁剪。即使两个专家的输入空间高度相似，它们各自的非线性计算方式可能不同，删掉其中一个仍会影响预测质量。研究建议在裁剪任何专家之前，必须通过实际的预测质量测试来验证其功能价值，而非仅看输入空间的相似程度。