导读
专家选择直接影响固定活跃专家预算下的模型能力。在使用 708B 令牌训练的 24 层 10B-A1B 模型上，完整的多视图 MoE 将九任务下游平均值比基线提高了 1.18 个百分点。
英文标题：Multi-View MoE: Letting Every Router Shape Expert Computation
arXiv编号：2610.40577
作者：Zelin Zhao, Tianchi Ma, Junyuan Shang
来源：arXiv
原文链接：https://arxiv.org/abs/2610.40577
中文摘要：
稀疏专家混合 (MoE) 模型通过激活每个代币的一小部分专家来扩展参数容量。专家选择直接影响固定活跃专家预算下的模型能力。所有专家的密集评估表明，单路由器排名与专家效用评估排名之间的一致性较差，尤其是在中层和深层。更丰富的选择和计算信号会产生额外的成本：基于内部专家激活的选择需要初步计算，而通过同一专家单独处理多个完整表示会重复其计算。我们提出多视图 MoE 来改进多个路由器的专家选择，并重用他们的偏好来在固定的专家预算下调整专家计算。其多路由器子模块聚合来自独立初始化的路由器的 sigmoid 分数。这些路由器在训练过程中会形成高度差异化的专家偏好，从而可以选择受到一台路由器强烈青睐或受到多台路由器共同支持的专家。多视图进一步使用每个选定专家在路由器上的相对分数，将学习到的潜在视图混合到其输入中，重用路由首选项进行选择和计算。每个选定的专家都会执行一次前向传递，保留活跃专家计数、专家失败次数和所有人之间的通信量。在使用 708B 令牌训练的 24 层 10B-A1B 模型上，完整的多视图 MoE 将九任务下游平均值比基线提高了 1.18 个百分点。仅多路由器就产生了 0.6 个百分点的增益，并改善了路由器分数和评估的专家效用之间的排名相关性，全局相对增量为 8.1%，在单路由器对齐最低的层中相对增量约为 58%。受控混合干预表明该模型使用取决于专家和代币的输入差异。
本文由华人空间 AI 论文助手自动抓取翻译，仅供学术交流。
