MoE架构谁是先驱？万亿参数谁最先破？

Google的GShard在2020年率先将MoE模型扩展至6000亿参数；2021年，Google Switch Transformer更将总参数推至1.571万亿，成为万亿参数模型的先驱。

来源