良質なノンフィクションはAIスロップの対極にある

• 図書館の分類体系と司書の選書、貸出履歴が組み合わさった書架探索は、検索エンジンよりも質と偶然性を同時に提供し、思いがけない良質なノンフィクションへ読者を導く
• 無料プラットフォームBook Prize Indexは、主要な英語圏ノンフィクション文学賞の受賞作と最終候補作約6,500冊を検索・並べ替えでき、自然言語クエリや類似書籍の探索にも対応する
• AIはデータ収集とコーディング、セマンティック検索にのみ使われており、ときに理解しづらい検索結果さえ、よく管理された書架を歩くような発見体験につながる
• 文学賞の記録は、絶版になってAmazonの推薦から押し出された優れた作品もよみがえらせる。1993年に主要賞4つを受賞したW.E.B. Du Boisの伝記は、販売順位が100万位圏外であるにもかかわらず、指数では全体上位10冊近くに位置している
• 開放型研究図書館とモビリティの拡大、社会的アクセシビリティの改善、目録記述やメディアの変化が20世紀ノンフィクションの質を押し上げ、主観的には1980年代〜2000年代初頭が頂点だった可能性がある

---

書架探索が生んだ選別された偶然

• 大学時代、Library of Congress分類のA〜F区画で本を整理しながら、毎回ランダムなページから一文だけ読むやり方で、宗教・哲学・社会学・歴史の本に幅広く触れていた
  • 大半は関心を引かなかったが、ヘレニズムの密儀宗教、The Education of Henry Adams、Are Clothes Modern? のような本には夢中になり、何ページも読み、隣の本まで手に取った
• この体験は、完全なランダム読書というより選別された独学に近かった
  • Library of Congress分類体系と研究図書館の職員が資料を整理し、選別していた
  • 貸し出された本という条件は、すでに継続的な読者を確保しているという追加フィルターとして働いた
  • その結果、体系的に選別されつつも興味深い偶然性を備えた良質なサンプルに出会えた

Google検索と開放型書架の衰退

• 今日、学部生が資料を探す際に使うGoogle検索は、研究図書館の特定分類の書架を直接見て回る方法に比べ、発見体験の面で大きく劣る
• 研究図書館の空間も昔とは変わりつつある
  • 探索可能な開放型書架は、Learning Lab、Digital Innovation Hub、交流や軽食のための座席スペースに置き換えられつつある
  • 古くて珍しい本を廃棄したり、電子版に置き換えたりする例も増えている
• それでもノンフィクションの質は依然として高く、AIチャットボットやポッドキャストとの競争で読者が減る状況でも、十分に評価されていないノンフィクションの黄金期が続いている

Book Prize Indexの構成

• Book Prize Index は、高品質なノンフィクションのロングテールを探索するために作られた無料プラットフォームである
• 主要な英語圏ノンフィクション文学賞の受賞歴と最終候補歴を品質基準として活用している
  • 主要賞の一覧を集計した後、ClaudeとGPT-5.6でWikipediaなど複数のオンラインソースから受賞作と最終候補作を収集した
  • 集めたデータを検索・並べ替え可能な一覧として構成している
• ホスティング費とAPI費用を自費で負担し、誰でも無料で利用できるよう運営している

セマンティック検索で再現した書架散策

• AIの役割は、データ収集・コーディングとセマンティック検索(semantic search) に限定されている
• セマンティック検索は、研究者がすでに使っているテキスト検索を直接改善する
  • modern France、social history のような単純な語句を検索できる
  • classic biographies that are surprisingly weird のように複合的な意味を持つ自然言語クエリにも対応する
  • 埋め込みモデルが約6,500冊の中から関連書籍を見つけ出す
• 結果がときに理解しにくくても、その予測不能さが、よく手入れされた庭をランダムに歩くような発見体験を再現する
• とりわけ、すでに好きな本と似た本を探す books like の用途によく合っている
  • Stefan Zweigの戦前ウィーン回想録 The World of Yesterday を基準に検索すると、初めて出会う有望な本をすぐに見つけられる

データ可視化と出版社ランキング

• 収集したデータで実験的な可視化を作成した
  • コーパスに含まれる約5,000冊を表紙の色ごとに並べている
  • 年代別に比較すると、ここ数十年で自動車の色がグレー化したのと同じ現象が本の表紙にも現れているかを見て取れる
• 同じページのチャートと出版社ランキングを通じて、過去1世紀にわたりノンフィクション文学賞で最も優れた成績を収めたインプリントと出版社を探れる

文学賞が保存するノンフィクションのロングテール

• Pulitzer Prizeのノンフィクション部門でさえ、比較的新しい1962年に始まった
• ノンフィクション文学賞の数は1970〜1990年代に増加し、2014年にピークに達し、2020年からは緩やかな減少が始まった可能性がある
• 過去数十年の候補作と受賞作が形作るロングテールは、一貫して高い質を示している
  • 一覧からほぼ無作為に選んでも、独創的で優れた本に出会える
  • これらの本は刊行当時に無視された作品ではなく、報道・文学界・学界の称賛を受けながら、現在の推薦システムから押し出された作品である
• David Levering Lewisによる W.E.B. Du Bois伝記 は、こうした断絶をよく示している
  • 1993年の刊行当時に主要賞4つを受賞し、指数全体で上位10冊近くに位置する
  • 現在は絶版でAmazon販売順位も100万位圏外のため推薦される可能性は低いが、中古なら約4ドルで購入できる

ノンフィクション黄金期を生んだ変化

• 開放型研究図書館の基本設計は18〜19世紀に登場したが、戦後の技術・社会変化が、図書館や文書館で新しい知識を生み出す方法を大きく変えた
• ジェット旅客機は、かつて超富裕層に限られていた複数大陸での現地調査を、より多くの作家や研究者に開いた
• 階級・人種・性別による制約が弱まるにつれ、稀覯本図書館のようなエリート空間へのアクセス性が高まり、新しい研究課題も可能になった
  • およそ1965年以前の伝記作家は、対象人物の性的指向をほとんど探究していなかった
• Library of Congress分類体系や、1960年代後半に開発されたMARC(machine-readable cataloguing) のような初期デジタル技術は、図書の分類と整理を容易にした
  • 出典確認や高品質な注の作成もいっそうしやすくなった
• 放送ニュース、Dick Cavett のような独特なテレビインタビュープログラム、本のHollywood映像化ルートは、作家に新たな誘因を与え、作品を知らせるプラットフォームを提供した
• ワードプロセッサや初期コンピュータがノンフィクションの質を実質的に高めたかは不確かである
  • 2000年代以降、WikipediaとGoogle Books/Hathi Trustはこの世代の研究に大きく貢献した

ノンフィクション品質の頂点

• 多くの図書館の本をざっと見てきた主観的判断では、ノンフィクションの文章品質は20世紀前半を通じて向上した
• 頂点は1980年代から2000年代初頭の間だった可能性がある
• 現在ノンフィクションの質が実際に低下しているかどうかは断定しにくい

[GN⁺]

Hacker Newsの意見

• 優れた小説は本質的にAIの正反対だと思う。LLMは複数の要素を組み合わせて創造的に見える結果を作れるが限界があり、何千回プロンプトを入力しても、優れた小説のように真に独創的な作品が出てくるとは想像しにくい
  そうした作品には人生の魔法と不条理が必要だ

  • 人間がより創造的になるには、なぜ必ず 人生の魔法と不条理 を経験しなければならないのか、少し筋が通っていないように思う。人間の創作も結局は自分の体験をつなぎ合わせて再構成する過程であり、AIにもそれを反映するデータが十分にあれば、真に独創的な結果を生み出せるのではないかと思う
    知能と創造性はどちらも再構成であり、AIも人間のようにそれをうまくやれる。現時点での違いは、人間が触れるデータのほうがはるかにアナログで感情的かつ現実に基づいている点にある
  • 年を取るほど、天の下に新しいものはない という言葉が何度も思い浮かぶ
  • AIは技術的内容を文書化して説明する ノンフィクションの一分野 ではかなり使える。好みを伝えてファンタジー小説を書いてもらったことがあるが、結果はひどく、AIが近いうちにファンタジー作家の仕事を奪うことはなさそうだ
  • 今はLLMが書いた小説を読みたいとは思わないが、将来は考えが変わり、楽しめる作品も出てくるだろうとは思う。ただし ノンフィクションもLLMで置き換えるのははるかに難しい
    今読んでいる https://www.goodreads.com/en/book/show/17801.Underground や https://www.goodreads.com/en/book/show/44824581-a-k-pop-live は、実現が難しい対面インタビューや現場イベントへの参加を含む膨大な資料に依存しているため、LLMには書けない本だ。https://www.goodreads.com/series/139929-designers-dragons のような比較的平凡な本でさえ、デジタル化されていない、あるいは一般的なデジタル資料集にはない出典を活用している
    LLMは総合作業をうまくこなせるが、有能なノンフィクション書籍を書くためのツールと検証体系はまだ不足している。今後それが可能になったとしても、最も優れた、最も興味深いノンフィクションは引き続き人間の領域だろうし、回想録や旅行記も、口述筆記をさせる場合でない限り置き換えは難しい
  • モデルは数学の証明のように、人間が探究していない領域へ外挿する 能力をますます示している。人生の不条理から題材を得ることだけが、モデルにとって特別に難しいと確信する根拠が知りたい

• 長文を読んで得た情報と、LLMとの対話で得た情報は、脳内で 異なる形で保存 される可能性が高い。難しい、あるいは新しい文章を読むときは、その内容が既存の体験や知識とどう結びつくのかを長く考え、難解なページでは立ち止まって思考を統合し再構成することになる
  一方でLLMと対話するときは、知識を受動的に受け取っている感じがして、十分に統合されない。人間の教師から学ぶときはそうならない気がするので、やや逆説的だ

  • 教育理論でいう 同化と調節 に近い。同化は知識が既存の認知スキーマに当てはまる過程であり、調節は新しい知識のためにスキーマ自体を変える過程なので、挑戦されているとか深遠だという感覚が生まれる
    たとえば子どもが外国人を自国の外から来た人として学び、初めて海外旅行に行って自分がその場では外国人なのだと気づくようなものだ。LLMの出力はおおむね、容易に同化できる形へと傾いているように思う
  • 散歩やハイキングの途中でオーディオブックを聴くのだが、学んだ内容を思い出すときに どこを歩いていたか まで一緒に思い出すことがある。人間が情報を処理する仕組みについては、まだ解明すべきことが多い
  • LLMと相互作用しながら知識を受動的に受け取るという表現は、ほとんど 形容矛盾 のように聞こえ、自分の体験とは大きく異なる
  • これは 道具の使い方 により左右されるように思う。読むだけではうまく学べず、実際にやってみて理解できない点を繰り返し質問してこそ学べるのだが、LLMは人間ならすぐに忍耐を失うほど何度でも尋ねられるようにしてくれる
    元資料で独学するときのように、理解した内容を書き出し、フラッシュカードを作って能動的に練習しつつ、難しい部分はさらに深く掘り下げて質問できる。そのおかげで、ほかの手段ではできなかった思考の統合と再構成が可能になる
    LLMを知識スロットマシンのように使い、中間過程なしに受け取った内容をすぐ実行に移すなら、結果は違ってくるかもしれない
  • 人によって情報の習得方法は異なるので、こうした推測は大きく外れている可能性がある。LLMが好きではないという事実を、人間の脳や知識へのアプローチ全般についての結論に一般化することはできず、ここでは 個人の主観的体験 がほぼすべてだ

• 書籍賞は平均以上のシグナルではあるが、出版社は少しでも関係がありそうな賞に本を大量に応募し、それを事業コストとみなしている。写真家が「受賞歴のある写真家」という肩書きのために参加費を払ったり、企業が審査料と資料を提出したりするのと似ている
  本は多すぎる一方で、有資格の審査員は少ないため、受賞が恣意的だったり、ばかばかしいほど簡単になったりすることがある。NCR Book Award は審査員が本を実際には読んでいなかったことが明らかになって大きな論争を招き [1]、PROSE Award は規模が大きすぎるため、一般部門でのファイナリスト入りや受賞の権威がしばしば誇張される
  [1] https://www.theguardian.com/news/2013/may/19/literary-prize-judges-admit-failure-read-books

  • 賞はその時代の産物であり、審査員の偏見や読者の文学的嗜好だけでなく、縁故主義・えこひいき・エリート主義 も反映する。Hugo、Nebula、Locus の歴代受賞作や候補作を見れば、いまひとつな作品も多く見つかる
  • ビールやワインの賞も同様で、一部は素晴らしいが、大半は 金を払って参加する宣伝用の宝くじ に近い

• 「技術」と「科学」の項目で、すでに読んだ素晴らしい本や読みたい本をいくつも見つけて、失っていた毎日の読書習慣を取り戻す動機になった。最近の「社会と文化」の本は読書会用にもよさそう
  バグが1つあって、awardフィルタで Pulitzer や National Book Award を選ぶと結果が出ないのに、探索中にはその受賞作が表示される

  • このサイトは最初は個人的に使うために作ったが、意味ベース検索とカテゴリ探索で知らなかった良書を見つけるうちに、拡張すること自体に夢中になった。他の人にも同じ役割を果たしてくれたらと思う
  • 最近、スマホとテレビの習慣を見直してから、今では家族で映画の夜の代わりに静かな読書会をしている
    1. スマホに Jomo を入れて、刺激の強いアプリを開く前に5秒待ち、5分だけ使えるようにした。開くたびに待機時間が5秒ずつ増え、深夜にリセットされる。この摩擦が肝心
    2. 面白そうな紙の本はすぐ買って、家のあちこちに置く
    3. 既存の習慣に読書を結びつける。毎日運動に出かけるとき本を持って行き、運動後は向かいのカフェでコーヒーを飲みながら読み、夜は寝る前に読む。何冊か読み終えると読書にのめり込み、むしろテレビに集中しづらくなり、無限スクロールもジャンクフードのように、やっている最中でさえ後ろめたく感じる
       最初の1冊として https://bookshop.org/p/books/true-grit-charles-portis/5ac45463b35e7b22 を勧める

• 研究図書館で探していた本の2、3棚隣にあった本を通じて、人生を変えるような手法や導出過程を数多く学んだ。研究者になってからは司書に職場近くの分館へ本を送ってもらい、直接書架を見て回らなくなったが、本館で目録に載っていた本の数冊隣にある本を借りたことで大きな突破口を得たことがある
  今では同じ図書館に移動式書架が設置され、探索が面倒になり、書架探索の偶然の発見という貴重な何かを失った気がする
  このサイトのリストには大いに期待していたが、専門分野では物足りなかった。van Soest の Nutritional Ecology of the Ruminant や van der Werf の Animal Breeding: Use of New Technologies に近い本を探すと、一般向け科学書ばかり大量に出てくる。昔図書館で見つけた本は、科学的厳密さを保ちながら驚くほどわかりやすく面白かったが、おすすめされた一般向け科学書は、自分でアイデアを掘り下げさせるというより何かを売り込もうとしている感じがして、また自分で書架を見に行くしかなさそうだ

• 著者検索に対応してほしい。最近 Caro の LBJ シリーズを読み始めたが、今のところ素晴らしく、彼がいくつ賞を取ったのか気になっている。ノンフィクションが好きなので、このサイトには頻繁に来ることになりそう

  • もっと一般的には、年、タイトル、出版社、著者、スコアのような列見出しをクリックして並べ替えできるとよい。一部の画面では動くが、他では動かず直感的ではない
    traditional と semantic の検索切り替えは新鮮だが、ホームタブだけでなく本のタブでも切り替えスイッチが常に見えているとよい

• 本をややランダムに探索して得られる偶然の発見には共感するが、肝心の Web アプリはその逆に見える。いくつかカテゴリを押してみると、上位の本はどれも人気投票っぽさがあり、ランダム探索とは程遠かった

• Axiom Business Book Awards、Library Journal Best Books of the Year、Booklist Magazine's Editor's Choice Awards を追加してほしい。書評を大きく扱う人気の Substack もいくつかあるが、公開集計サイトには、自分がいちばん好きなところでさえ勧めないと思う

  • Axiom は追加予定。ただし「今年の本」タイプのリストはブックアワードとはやや性質が違うので、追加するかどうか、どう追加するかを考えているところだが、リストの本を増やす次の段階になる可能性が高い
    他の賞も勧めてほしい。歴史学者なので歴史関係の賞には詳しく、今のリストが歴史分野に偏りすぎているかもしれない

• ブックアワード索引の歴史部門はアメリカに偏りすぎている。アメリカ史、ネイティブアメリカン、第二次世界大戦後の日本、ここ1世紀のベトナムあたりに集中している

  • 結局、そういう本が売れるからだ。アメリカは人口が多いので、歴史のようなニッチな主題でもアメリカの読者を狙えば採算が取れる
    大衆市場向けの本を売ろうとしない歴史学者たちは、はるかに幅広い本を書いているが、一般書店ではなかなか見かけない
  • 皮肉なことに、アメリカはヨーロッパ、北アフリカ、中東、ペルシャ、中国、中央アジア、インドと比べると、実際には歴史の蓄積が乏しいほうだ

• スペイン語または英語のスペイン内戦の本を探している。勧められたアメリカの本は気に入らなかったし、言語やどの国で賞を取ったかに関係なく探し続けたいので、英語圏以外の国のブックアワードも含めてほしい

  • 戦争そのものよりも、戦争がどう起き、国全体がなぜ戦いを受け入れたのかのほうがずっと興味深い。それを理解するには、以前の独裁政権末期から始めて、スペイン第二共和政全体を見ないと戦争は理解できない
    Stanley Payne の The Collapse of the Spanish Republic を勧める。彼はその時期を通してスペインにいた記者で、主に直接見聞きしたことを伝えており、公平さを標榜してはいないが、主要人物たちを個人的によく知っていて、かなり繊細に描いている
  • 読んだ本の中では、Paul Preston の The Spanish Civil War と George Orwell の Homage to Catalonia を強く勧める。積読リストには Hugh Thomas の The Spanish Civil War と Antony Beevor の The Fight for Spain があり、早く手に入れて読みたい