ChatGPTの未来予測能力: 予測精度向上に向けたナラティブプロンプトの探究

• 本研究は、OpenAIのChatGPT-3.5とChatGPT-4の予測能力を、直接予測と未来ナラティブという2つの明確に異なるプロンプト戦略を用いて調査する。

• 分析では、2021年9月のモデル学習データのカットオフ以降である2022年に発生した出来事に焦点を当て、未来の出来事を予測する能力を評価する。

• 研究結果は、将来ナラティブのプロンプトが、特に主要なアカデミー賞受賞者や経済動向の予測において、ChatGPT-4の予測精度を大幅に向上させることを示している。

• ChatGPTのナラティブプロンプトは、幻覚的なナラティブ構成能力を活用することで、直接予測と比べてより効果的なデータ合成と外挿を可能にする。

• この研究は、大規模言語モデル（LLM）の予測能力における新たな側面を強調し、分析文脈での潜在的な応用を示唆している。

• 研究チームは2名の研究補助員を雇用し、各プロンプトについて50回ずつChatGPTに問い合わせて回答分布を生成し、プロンプトごとに合計100回の試行を行った。

• 結果は、各プロンプトに対する回答の全体分布を示す箱ひげ図として提示され、モデルの性能と限界に関する洞察を提供する。