万亿参数俱乐部内幕

2021年,谷歌的Switch Transformer以1.6万亿权重一举叩开万亿参数俱乐部大门,规模已约为里程碑式GPT-3(1750亿)的9倍。

前三

1. 史上最庞大的AI模型: 悟道2.0至今仍稳坐规模之王的宝座,参数量高达1.75万亿,约为GPT-3的十倍。
2. 最烧钱的AI训练账单: 前沿模型的训练账单已从2017年的约670美元,飙升至Gemini Ultra估计的1.92亿美元。
3. 为何“万亿”背后藏着星号: 这些巨兽都是混合专家(MoE)模型,每处理一个token其实只有一小部分参数被激活。

来源

• Wikipedia — List of large language models
• Exxact — Switch Transformers
• DeepLearning.AI — Trillions of parameters

打开完整版