Kimi K2:总量1万亿,激活仅320亿

Kimi K2存储约1.04万亿参数,但每个token只激活320亿——384个专家中仅调用8个。

前三

  1. MoE架构谁是先驱？万亿参数谁最先破？: Google的GShard在2020年率先将MoE模型扩展至6000亿参数；2021年，Google Switch Transformer更将总参数推至1.571万亿，成为万亿参数模型的先驱。

来源

打开完整版