史上最庞大的AI模型

悟道2.0至今仍稳坐规模之王的宝座,参数量高达1.75万亿,约为GPT-3的十倍。

前三

1. 悟道2.0以1.75万亿称霸: 北京智源研究院(BAAI)于2021年发布悟道2.0,参数量达1.75万亿,一举将谷歌Switch Transformer拉下王座。
2. Switch Transformer率先破壁: 谷歌的Switch Transformer是首个公开突破万亿的模型,2021年初以1.6万亿参数惊艳登场。
3. GLaM以低成本冲上1.2万亿: 谷歌的GLaM塞进了1.2万亿参数,训练耗能却只有GPT-3的三分之一。

来源

• Wikipedia — List of large language models
• Artificial Analysis — Large open models
• Our World in Data — Parameter counts

打开完整版