人間のフィードバックとともに再帰的に本を要約する

• OpenAIが新たに発表した論文

• AIモデルを適用するには、機械学習モデルが人間の意図どおりに動作するかを確認する必要がある

→ アラインメント問題

• アラインメントの解決は人間にとって評価が難しく、時間もかかる

• Scalable Alignment技術をテストするために、本全体を要約するモデルを訓練した

→ 本をセクション単位で要約した後、その要約を再び上位レベルで要約する方式で、最終的な要約になるまで要約を進めていく

→ 26,449語の『不思議の国のアリス』を136語に要約

→ GPT-3を微調整したもので、人間が作成した要約の平均的な品質に近い、優れた要約を生成した