The Pile、825ギガバイト規模の多様なオープンソース言語モデリングデータセット (2020)

The Pile: 言語モデリングのための多様なテキストの800GBデータセット

• The Pileは、22の小規模で高品質なデータセットを組み合わせて作られた、825 GiB規模の多様なオープンソース言語モデリングデータセットである。
• このデータセットはThe Eyeという組織によってホスティングされており、jsonlinesデータ形式で、zstandardを使用して圧縮されている。
• The Pileを使用または評価するモデルがある場合は、開発者に知らせてほしいとしている。

The Pileを訓練セットとして使う理由

• 最近の研究によれば、特に大規模モデルでは、データソースの多様性がモデルの一般的なクロスドメイン知識と下流タスクでの汎化能力を向上させる。
• 評価結果では、The Pileで訓練されたモデルは従来の言語モデリングベンチマークで中程度の改善を示し、Pile BPBでは大幅な改善を示している。

The Pileをベンチマークとして使う理由

• Pile BPB (bits per byte) で良いスコアを得るには、モデルは書籍、GitHubリポジトリ、ウェブページ、チャットログ、医学、物理学、数学、計算機科学、哲学の論文など、さまざまなドメインを理解できなければならない。
• Pile BPBは、これらのドメインにおける世界知識と推論能力を測る指標であり、大規模言語モデルの一般的なクロスドメイン・テキストモデリング能力に対する強力なベンチマークである。

引用

• The Pileまたはその構成要素を使用する場合は、以下のように引用してほしいとしている。

@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

リーダーボード

• リーダーボードはテストセットとの重複可能性を示しており、Zero-shotはPileのすべての構成要素が訓練データに含まれていないことを意味する。
• GPT-3 (Zero-Shot)* と GPT-2 (Zero-Shot)* は、それぞれTest BPB 0.7177と1.225で、2021年1月1日にOpenAIによって順位付けされた。
• 評価コードはEleutherAI 2021によって提供されている。

GN⁺の意見

• The Pileデータセットは、言語モデルの訓練とベンチマークにおいてデータの多様性が重要であるという最新研究の結果を反映している。これは、言語モデルが現実世界の多様なテキストを理解し処理できるようにすることに寄与する。
• データセットの規模と多様性は、モデルがより幅広い知識を学習し、より優れた汎化能力を持てるようにする。これは特に人工知能分野における重要な進歩とみなせる。
• しかし、このような大規模データセットを効果的に活用するには相当な計算資源が必要であり、コストと環境への影響を考慮すべき問題を提起する。
• 類似の機能を提供する他のプロジェクトとしては、OpenAIのGPT-3のような大規模言語モデルがあり、これらも多様なデータソースから学習している。
• The Pileを使用する前には、データの出所と品質、そしてモデルが学習する内容について十分な理解が必要である。このデータセットを選択することで得られる利点は、モデルが多様な知識を獲得できることだが、データ処理と保存にかかるコストも考慮する必要がある。