扩展 Raschka 的 GPT-2：在 RTX 3090 上从零训练一个 MoE

Extending Raschka's GPT-2: an MoE trained from scratch on an RTX 3090 — gilesthomas.com · 13 小时前 · 🤖 AI / ML

「在单张 24GB 显存的 RTX 3090 上从零训练一个混合专家（MoE）语言模型是否现实」，是这篇文章用一次完整实验回答的问题。作者以 Sebastian Raschka 那套教学用的 GPT-2 从零实现为基线，把每个 Transformer 块里原本稠密的前馈网络替换成由多个专家加一个线性路由器组成的 MoE 层，其余部分——BPE 分词器、多头因果自注意力、权重共享的输出头、训练循环——尽量保持原样，好让改动带来的影响可以被干净地对照出来。路由方案上，作者采用 top-2 稀疏激活：路由器对每个 token 输出一组专家分数，只取分数最高的两个专家参与计算，再按 softmax 概率加权求和，这样总参数量随专家数量线性增长，而单个 token 的浮点运算量基本不变，这正是 MoE 能同时拿到「大模型的知识」和「小模型的速度」的原因。为阻止路由塌缩，训练目标里加入了负载均衡辅助损失，用各专家实际接收 token 的比例与均匀分布的偏差惩罚路由器，系数需要手工调；同时引入容量因子限制单个专家在一步内能处理的 token 上限，溢出的 token 直接跳过专家层走残差连接。工程层面，作者用 bf16 混合精度、梯度检查点和梯度累积，把专家参数、优化器状态与激活值一起塞进 24GB 显存，配合 AdamW、warmup 和余弦学习率衰减跑完训练，并记录了损失曲线、专家利用率分布与每步耗时。作者的对照设置是同一份小型训练语料、同一套超参、相同的训练步数，只切换稠密 FFN 与 MoE 两种结构，并把 MoE 版本的总参数量刻意对齐到稠密基线的量级，以便观察稀疏性本身带来的差异；目标不是刷榜，而是把 MoE 的每个环节跑通、把坑踩一遍。作者的结论是：MoE 的收益几乎全部落在推理侧——显存占用与同规模稠密模型持平，但每 token 激活参数只有总参数的几分之一，吞吐显著更高；代价是训练更慢、更吃显存、对超参远更敏感，因此单卡从零训练更像一次有价值的教学实验，而不是效率捷径。

核心论点

• MoE 改造在 Raschka 的 GPT-2 代码里只动了 FFN 这一处：把原来单个四倍扩展比的前馈网络换成 N 个结构相同但参数独立的专家，外加一个把隐藏维度映射到 N 维的线性路由器，采用 top-2 稀疏激活，即每个 token 只经过得分最高的两个专家，输出按路由器 softmax 概率加权求和，于是总参数量随专家数线性增长而单 token 的计算量几乎不变，这是 MoE 能用小模型的推理成本承载大模型知识的核心机制。
• 稀疏路由最大的敌人是塌缩：如果不加约束，路由器很快会把几乎所有 token 都发给少数几个专家，其余专家收不到梯度、形同虚设。作者的处理是加入负载均衡辅助损失，用每个专家实际接收的 token 比例与理想均匀分布的偏差来惩罚路由器，并乘以一个需要手工调的系数——系数太大伤主任务损失，太小则完全不起作用；同时设置容量因子限制单个专家在 batch 内能处理的 token 上限，超出部分被丢弃、该 token 直接走残差旁路，这也意味着 MoE 训练时的有效计算量会随路由分布波动。
• 在 24GB 的 RTX 3090 上跑 MoE，瓶颈不是算力而是显存：专家参数、优化器状态和激活值三者叠加，作者用 bf16 混合精度、梯度检查点、micro-batch 加梯度累积这套组合拳把峰值压回可训练范围，代价是训练速度进一步下降。作者给出的关键区分是，MoE 的显存占用取决于总参数量，而速度和 FLOPs 取决于激活参数量，理解这一条是理解 MoE 所有取舍的前提。
• 与同参数量、同训练 token 数的稠密 GPT-2 基线相比，MoE 版本在作者的对照实验里并没有在同等训练步数下立刻在验证集损失上取得压倒性优势，因为稀疏模型通常需要更多数据才能让所有专家都得到充分训练；真正的差距出现在推理阶段——MoE 每 token 激活参数只有总参数的几分之一，吞吐接近小模型，而显存占用与大模型持平。作者的结论是 MoE 更适合推理成本敏感、显存相对宽裕的部署场景。

💡 为什么值得读: 如果你一直好奇 MoE 到底难在哪、单卡玩家能不能玩，这篇把路由、负载均衡、容量因子和 24GB 显存下的工程取舍全部拆开讲了一遍，读完能省下大量试错时间。

🏷️ MoE, GPT-2, RTX 3090, training

---

本文由 AI 每日精选自动撰写：当日从 92 个技术博客抓取 11 篇，精选 5 篇，本篇来源 gilesthomas.com（https://gilesthomas.com）。 由「懂点儿AI」制作，欢迎关注同名微信公众号获取更多 AI 实用技巧 💡