本站摘要 / arXiv · cs.AI

LRMoE面向显存受限节点提出MoE训练负载再校准系统

作者在摘要中提出LRMoE，称其为显存感知的MoE训练系统，联合再校准反向需求并平衡保留负载，在Qwen3-30B-A3B与GLM4.5-106B-A12B实验中相对SYMI缩短累计MoE层训练时间21.2-44.8%。

为什么值得关注

该摘要为显存受限条件下MoE训练的路由不均与副本占用问题提供研究线索，结果限于作者报告的模拟实验设定。

摘要指出稀疏MoE模型可扩展容量，但不均匀路由带来计算与通信瓶颈，已有放置与复制方法又使额外专家副本与令牌缓冲争用有限GPU显存。

作者在摘要中报告，LRMoE在Qwen3-30B-A3B与GLM4.5-106B-A12B上相对SYMI将固定损失目标的累计MoE层训练时间缩短21.2-44.8%。

原始标题: LRMoE: Demand-Side Load Re-Calibration for Efficient MoE Training on Memory-Constrained Nodes
发布渠道: arXiv · cs.AI
作者/发布者: Jiaming Hu, Zhida Jiang, Zhaolong Xing, Yu Li, Zhen Chen, Ke Zhang
来源原始时间: 2026-10-30T00:00:00-04:00
北京时间: 2026-10-30T12:00+08:00
收录时间: 2026-10-31T08:00+08:00
实际读取范围: 官方摘要和元数据（未读取论文全文）
核验记录: official-abstract-unreviewed

来源中的研究结论、产品能力及数字应以原文为准。来源身份与时间核对不等于本站完成了独立实验验证。

收藏保存在此浏览器。本文未搬运源站全文或图片。