Switch Transformer率先破壁

谷歌的Switch Transformer是首个公开突破万亿的模型,2021年初以1.6万亿参数惊艳登场。

来源

• Exxact — Switch Transformers
• Synced — Switch Transformer 1.6 trillion

打开完整版