GPT-NeoX-20B に四則演算の問題を聞いてみたら

• GPT-3 規模のモデルをオープンソース化した GPT-NeoX に、簡単な四則演算の問題を解かせてみた

• 100問中、正解は10問だけ。しかしその大半は正解に 近い

Q: "What is 2653 * 30641?"

A: 82356113（不正解）

正解は 81290573

• 「言語モデル」は基本的に数学があまり得意ではないことが知られている（おそらく一因として、数字をトークン化する方法がある）

[louie]

本当の正解は81290573で、GPT-NeoXの答えは82356113ではないでしょうか？

自分でも暗算してみて、電卓でも計算しましたが、正解は81290573だと思います！

（リンク先の画像でもCorrectがNoになっているのを確認できます。

もし違っていたらご指摘お願いします！）

[xguru]

あらら… 私が書いている途中で前後を入れ替えてしまったようです。修正しておきました…

[budlebee]

むしろ近似値を正解として出してくるのが人間っぽくて、さらに驚きますね。

[xguru]

これについての詳しい話は HN のコメントにたくさんありますね https://news.ycombinator.com/item?id=30299360

• GPT-Neo : GPT-3 規模のモデルをオープンソース/無料で作るプロジェクト https://ja.news.hada.io/topic?id=3599