PaLM - Google AIが公開した540BパラメータのPathways Language Model

• 540Bパラメータを持つモデルで、GPT-3（175B）と比べて3倍の規模
• TPU v4を使って学習を実施
• モデルが大規模化することで、より多様なタスクを処理可能（数学の問題、説明、コード生成など）

関連投稿

• GPT-NeoX-20B に四則演算の質問をしてみたところ

[kunggom]

Googleはこれをロボットと組み合わせて、人工知能が現実の物理世界も学習できるようにしようとしているようです。
https://say-can.github.io/
https://arxiv.org/abs/2204.01691

[xguru]

• 超大型AI NLPモデルはどこへ向かっているのか？
• GPT-3はもはや市場で唯一ではない
• 2022 AI Index Report

[laeyoung]

AIモデルは大きければ大きいほど良い、という流れが続いているようです。