- Vesuvius Challenge 2023では、79年のベスビオ火山噴火で炭化した Herculaneum Papyriを開かずに読み取り、2,000年にわたり見えなかったテキストの一部を復元した
- Youssef Nader、Luke Farritor、Julian Schilligerのチームは、各140文字の4つの節と文字復元率85%以上という基準を満たし、70万ドルのグランプリを受賞した。提出物には15列、2,000文字超のテキストが含まれていた
- 復元された巻物は既存作品の重複写本ではなく、古代の未公開テキストとみられ、音楽・食物・感覚・快楽を扱うエピクロス派哲学のテキストと読まれている
- 中核技術は、X線断層撮影、3Dパピルス層のセグメンテーション、機械学習ベースのインク検出を組み合わせたもので、受賞コードと学習データが公開されているため再現と検証が可能
- 2024年の目標は、最初の巻物の約5%読解から、スキャン済み4本の巻物の90%読解へ拡大することであり、最大のボトルネックは手作業コストの大きいセグメンテーションの自動化である
2,000年前の巻物を開かずに読む
- Herculaneum Papyriは、79年のMount Vesuvius噴火で炭化したパピルス巻物で、18世紀に発見され、現在は数百点がイタリア・Naplesの図書館に保管されている
- 炭化した灰の塊のような状態のため、物理的に開くと深刻に損傷するおそれがあり、内部の文字を読むには非破壊手法が必要だった
- Nat Friedman、Daniel Gross、Brent Sealesは2023年3月15日にVesuvius Challengeを開始した
- Institut de France所蔵の巻物を、Oxford近郊のDiamond Light Source粒子加速器で高解像度CT撮影した
- 公開されたCTスキャンをもとに、世界中の参加者がコンピュータビジョン、機械学習、手作業を組み合わせて問題に取り組んだ
- 賞金総額は複数の寄付者による100万ドル超だった
- 2023年12月、参加者たちは最初の巻物の一部読解に成功した
- PHerc.Paris. 4で、2,000年間見えなかったテキストが明らかになった
- なお巻物の約95%はまだ読まれていない状態である
2023 Grand Prize受賞結果
- Grand Prizeの提出物は2024年1月1日深夜の締切直前まで寄せられ、1月中にパピルス学チームと技術チームが審査した
- パピルス学チームは匿名化された提出物の15列のテキストを確認した
- 技術チームは提出されたコードと手法を監査し、再現した
- グランプリはYoussef Nader、Luke Farritor、Julian Schilligerのチームが受賞した
- 賞金は70万ドル
- 条件は4つの節、各140文字、最低85%の文字復元可能性だった
- 運営チームの多くは、この条件が発表された当時、成功確率を30%未満と見ていた
- 受賞提出物には、追加の11列と合計2,000文字超のテキストが含まれていた
- 3人はVesuvius Challenge初期からコミュニティに貢献してきた
- Youssef NaderはBerlin在住のエジプト出身PhD学生で、2023年10月にいくつかの列を読み取り、First Letters Prize 2位を獲得した
- Luke FarritorはNebraska出身の21歳の大学生でSpaceXインターンでもあり、Herculaneum巻物の内部から完全な単語ΠΟΡΦΥΡΑϹ(“purple”)を初めて読み取り、First Letters Prize 1位を獲得した
- Julian SchilligerはETH Zürichのスイス人ロボティクス学生で、Volume Cartographerの作業によりSegmentation Tooling賞を3件受賞した
受賞提出物の技術構成
- 提出物には、相互に補完し合う3種類のモデルアーキテクチャの結果が含まれていた
- 最も強い画像はTimeSformerベースのモデルから出ることが多かった
- 過学習や幻覚を防ぐため、複数アーキテクチャの結果、入力・出力ウィンドウサイズの研究、label smoothing、検証foldの変更を用いた
- インク検出コードはGitHubでオープンソース公開されている
- 強力なインク検出に加え、最も有力な自動セグメンテーション手法も含まれていた
- JulianのThaumatoAnakalyptorは複数の巻物で大きなパピルスセグメントを生成する
- 既によく知られた領域を再セグメンテーションして、以前のインク発見を検証した
- 巻物の最外周の巻きのような新領域でも文字を明らかにした
- 有望なツールだが、改善すべき点はまだ多い
準優勝と公開された手法
- 残る提出物の中では、パピルス学チームの採点に基づき3チームが同率準優勝となった
- 各チームに5万ドルが授与された
- 3つの提出物は互いに似た可読性を示し、他の提出物よりかなり読みやすかった
- 公開されている準優勝チームの提出物:
- Elian Rafael Dal Prá, Sean Johnson, Leonardo Scabini, Raí Fernando Dal Prá, João Vitor Brentigani Torezan, Daniel Baldin Franceschini, Bruno Pereira Kellm, Marcelo Soccol Gris, Odemir Martinez Bruno: GitHub
- Louis Schlessinger, Arefeh Sherafati: GitHub
- 準優勝チームはインクラベリングとサンプリングの細部の問題に新しいアプローチを持ち込んだ
- Discordコミュニティでは、CTデータと追加画像にデータ契約のもとでアクセスでき、参加者の発見と協力が続いている
復元されたテキストの内容
- 現時点で最初の巻物の約**5%**が展開されて読まれている
- パピルス学チームは、明らかになったすべての列について暫定転写を作成した
- この巻物は既存作品の重複写本ではなく、古代の未知のテキストである
- 初期読解では、全体の主題はエピクロス派哲学で最高善と理解される快楽である
- 連続する2列の一部では、食物のような財の利用可能性が快楽にどう影響するかを論じている
- 著者は「希少なものが豊富なものより必ずしも直ちに楽しいと信じるべきではない」という趣旨の文を残している
- 続いて「そのような問いはしばしば検討されるだろう」という流れが続く
- 巻物の末尾部分であるため、同じ作品の続巻で議論が続いている可能性がある
- 最初のテキスト冒頭にはXenophantusという人物が言及されている
- Philodemusの On Music にも登場する、おそらく音楽家と思われる人物かもしれない
- Philodemusはエピクロス派の人物で、巻物が発見されたvillaの小図書館で活動していた哲学者と考えられている
- Richard Jankoは、著者がVirgilの師である哲学者・詩人Philodemusである可能性が非常に高いと見ている
- 音楽が聞き手に与える効果を、食べ物や飲み物のような他の快楽と比較する文章である可能性がかなり高いと考えている
- 既知のBook 4を含む音楽に関する4部作論文の一部である可能性もある
- Federica Nicolardiは、このテキストを音楽、食物、感覚、快楽に満ちたエピクロス主義のテキストと見ている
- Bob Fowlerは、Philodemusが快楽を高く評価していたとしても、それは単なる放縦ではなく、正しく理解された快楽を指していると見ている
結果画像の正確性を検証した方法
- 機械学習モデルが学習データに似た文字や画像を作り出す幻覚の可能性は、重要な検証対象だった
- Vesuvius Challengeの技術審査チームは受賞提出物を手動で再現した
- コードの各部分を理解し、独立実行して類似の出力画像が得られるかを確認した
- コードと学習データが公開されているため、他の人も同じ検証を行える
- 複数の提出物が同じ巻物領域で非常によく似た結果を出している
- 主催側のセグメンテーションチームは、CTスキャン内で3Dマッピングされたパピルスシート、すなわちセグメントを公開した
- 参加者は異なるMLモデルと学習ラベルを使っていたが、似た出力画像を生成した
- この一致は受賞チームや準優勝チームだけでなく、他の提出物でも見られた
- インク検出モデルはギリシャ文字、OCR、言語モデルに基づいていない
- CTスキャンから非常に小さなインク点を独立に検出する
- 文字は、こうした小さな検出結果が集まったときに後から現れる
- 一部のケースでは出力は「インク」または「非インク」の二値である
- この構造のため、モデルが文字らしい形を幻覚する可能性は非常に低いと考えられる
仮想展開の3段階
- 仮想展開は大きくスキャン、セグメンテーション、インク検出で構成される
-
スキャン
- 巻物や断片をX線断層撮影で3Dスキャンする
- Diamond Light Sourceは高フラックスの平行X線ビームにより、高速かつ正確な高解像度イメージングを可能にする
- X線画像は断層再構成アルゴリズムを通じてvoxelベースの3Dボリュームに変換され、スライス画像スタックが生成される
-
セグメンテーション
- 3D空間で巻かれ、しわくちゃになったパピルスの個々の層を追跡し、それを展開して平面化する
- 主にBrent Seales研究室のSeth Parkerらが作成したVolume Cartographerを使用する
- Julian SchilligerやPhilip Allgaierらがツールを拡張している
- Ben Kyles、David Josey、Konrad Rosenbergからなる専任セグメンテーションチームが、自動アルゴリズムと手動調整を併用した
- 巻物全体をセグメンテーションするには依然として非常に骨の折れる作業で、改善の余地が大きい
-
インク検出
- Stephen Parsonsは、Herculaneumのインクが理論上CTスキャンで検出可能であることを示したが、以前は小さな断片でしか実現できていなかった
- 完全な巻物の大規模スキャンでインクを検出することは、まだ達成されていなかった
インク検出のブレークスルー
- 最初のブレークスルーはcrackle patternの発見だった
- Casey Handmerは2023年夏、平面化された表面ボリュームの原本を見ていた際に、文字のように見える特徴的なcrackle patternを発見した
- この発見でFirst Ink Prizeを受賞し、コミュニティに共有した
- Luke Farritorは、セグメンテーションチームが作成した平面化表面ボリュームでさらにcrackleを見つけてモデルを学習し、10月のFirst Letters Prize受賞につなげた
- 2つ目の流れはKaggle competitionだった
- 数百チームが、開かれた断片からインクを検出する機械学習モデルを作成した
- これらの断片は、数百年前に物理的に開く過程で剥がれ落ちた破片である
- 参加者は断片写真から得られたground truthデータを利用できた
- モデル性能は優れていたが、当初はセグメンテーションチームが作成した平面化セグメントではうまく機能しないように見えた
- Youssef Naderがdomain adaptation手法を適用し、First Letters Prize 2位という成果につながった
- First Letters Prize以降、Grand Prize達成は現実味を帯び、Youssef、Luke、Julianがチームを組んだ
2023年の成功に寄与した運営方法
- プロジェクトは明確で異例な目標により、初期の報道、寄付、内発的動機の強いコミュニティを引きつけた
- Brent Sealesとチームが20年かけて築いた基盤が重要だった
- 最初の巻物スキャン
- Volume Cartographerの構築
- 仮想展開の最初の成功事例
- HerculaneumインクがCTで検出可能であることの証明
- 競争と協力を両立させるためにprogress prizesを運営した
- およそ2か月ごとに1,000〜10,000ドル規模の小賞を提供した
- progress prizeを受けるにはコードや研究をオープンソース公開する必要があった
- この仕組みはコミュニティ全体の水準を引き上げ、機材・計算資源・時間の投入やチーム形成を後押しした
- 専任セグメンテーションチームを雇用した判断も重要だった
- 受賞可能性を高めるため、ボトルネックであるパピルス追跡作業を内部で進めた
- セグメンテーション品質はインク検出前には判断しづらく、量に応じた報酬は品質を損なう可能性があった
- ラベリング作業は退屈で時間がかかり、学習曲線も長いため、賞金だけでは報いにくかった
- この判断はCasey Handmerによるcrackle patternの発見に直接つながり、コミュニティと共により良いセグメンテーションソフトウェアを作ることに寄与した
- 成功は多くの人の小さなブレークスルーが組み合わさった結果であり、広い探索空間の中で機能するアイデアを見つけるには多くの貢献が必要だった
2024年 Stage 2 の目標
- 2023年には1本の巻物で**0%から5%**まで到達した
- 2024年の目標は、スキャン済み4本の巻物全体の90%を読むことであり、これを最初に達成したチームに2024 Grand Prizeが授与される
- 現在最大のボトルネックは、巻物内部のパピルス表面を追跡する工程である
- 今日読めるテキストを作るために、手作業コストは平方センチメートルあたり100ドル超かかった
- このコスト構造のまま全巻物をセグメンテーションすると、数億〜数十億ドルかかる可能性がある
- ツール改善で効率は上がったが、依然として手作業が多く高コストである
- Stage 2の中核目標は自動セグメンテーションを完成させること
- うまく機能すれば、激しく圧縮・断裂・剥離・損傷した難しい領域も読めるようになる
- 現在のツールが届かない領域も対象となる
- 2024年はGrand Prizeを維持しつつ、コミュニティ貢献向け賞金の比重をさらに高める計画
- 専任セグメンテーションチームに加え、小規模なソフトウェア・MLチームを雇い、コミュニティと公開の形で協力する予定
より大きな目標と残された可能性
- 今後の目標は、すべての巻物をスキャンして読むこと
- Naplesにある巻物には16MB超のテキストが含まれていると推定されている
- パピルス学チームの一部は、このテキスト公開がルネサンス以後の古典学における最大の革命になり得ると見ている
- Villa of the Papyriには、まだ発掘されていない2層が残っている
- 少なくともキャビネットや運搬ケースの中に、さらに多くのパピルスがある可能性が高い
- まだvillaの主要図書館は発見されていない
- その図書館には、より広範なギリシャ語・ラテン語文献と、数千から数万の巻物が埋もれている可能性がある
- 今後の計画の詳細はMaster Planにある
1件のコメント
Hacker News のコメント
昨年初めに HN でこのプロジェクトを初めて見たとき、ほとんど不可能に思えたし、参加者たちがどれほど賢いのかに驚いた。
何人かのすごい名前が見えていたにもかかわらず、ブレークスルーが出るまでには少なくとも 5〜10年はかかるだろうと、無意識に思っていた。
今日も同じ感嘆を覚えながら、これがどれほど途方もなく素晴らしいことなのかに改めて驚いている。受賞者と関わったすべての人に祝福を送りたい
自分の写真について、コンピュータがぞっとするほど正確な 代替テキストを、美辞麗句まで添えて書いてくれるようになるのも、あと20年はかかると思っていたが、今ではもうそうなっている
機械学習、数学、隣接分野にはすでに高給のキャリアがたくさんあり、失敗に終わるかもしれない仕事に一流の専門家の関心をつなぎ止めるのは難しい。
現金報酬そのものだけでなく、大きな賞金の付いた挑戦は、解法を見つけることの 名声も高める。ノーベル賞にも結局、約100万ドルが付いてくる。
誰かがヴォイニッチ手稿や Linear A の解読に1億ドルを懸けたら、3年以内に解法が出るとかなり確信している
昨年10月ごろ、最初の結果が少しずつ出始めたときにこれを読んで、とても興奮した。方法論が特に魅力的だった。
まず巻物を デジタルで展開し、紙の亀裂のような痕跡がインクの信号だと突き止め、その後、それを断片ごとに検出するモデルを作った過程が印象的だ。
最終リポジトリを見ないと正確に何をしたのかは分からないが、TimeSFormerを使ったように見える。これは動画用だと理解していたので、画像にどう適用したのか気になる。
いずれにせよ考古学にとって本当に素晴らしい日であり、この若い才能たちは成し遂げたことに対して大きな拍手を受けるに値する
私の理解では、巻物のスキャン結果が層そのものを返しているようだ。
おおよそ次のような構造だ:
そのため表面画像をタイルに分けると、
size_x * size_y * n_layersサイズのデータになる。つまり
size_x * size_y * 1 channel * n_layersという形の 動画ストリームのように見なせて、ここでは層が時間次元の代わりになる「十分に発達した技術は魔法と見分けがつかない」という言葉がまさに当てはまる。
黒く焦げた巻物の塊を、読めるテキストに変える 魔法のような技術力は本当に信じられない。
機械学習についてはごく表面的にしか知らないので、記事に出てきた手法は最近になって発見されたものなのか、それともかなり以前からあったものなのか気になる。
こうしたアルゴリズムが変曲点に達してより広く使われるようになり、その結果、古い問題に新しい方法で適用する事例が増えたのかも気になる
1万年後には光円錐を再構成しているかもしれない。もしかすると、今の私たちこそがまさにそういう存在なのかもしれない。真面目な話ではないが、面白い思考実験だ
発掘されたすべての巻物を読むための「マスタープラン」へのリンクがある: https://scrollprize.org/master_plan
より多く読むうえでの主なボトルネックは2つに見える。スキャンされた巻物を セグメンテーションする際に手作業の介入が必要なことと、新しい巻物をスキャンするコストが大きいことだ
誰かがその費用を寄付して、巻物を一度に、あるいはいくつかの大きなまとまりで粒子加速器の近くへ運ぶこともできそうだ。さらに100万ドル使えば、温湿度制御コンテナのようなものを作ってまとめて運べるかもしれない。
自分に3,000万ドルがあれば、この件に間違いなく寄付する。そのくらいの金額の使い道としては最高のものの一つに見える。そうすれば卓上型スキャナや別の解決策を研究開発する必要を回避できるし、クラウドファンディングも可能に見える。
セグメンテーション作業は Seti@Home のような 集団解決方式を作ればいい。ただしコンピュータではなく、退屈で Reddit や Twitter ばかり一日中スクロールしている人たちを対象にする。
CAPTCHA のようにして無料で処理してもらうこともできそうだ。できるなら、自分でも月に数時間くらいはセグメンテーション作業をしたい。
このプロジェクトはここまで来るまでにコミュニティが一緒に作り上げた素晴らしいものだし、巻物を理解しようとする人間の集団をさらに開き、広げない理由はない。数百万人を巻き込めば、技術的な補助輪や開発だけに頼らなくて済む。もちろん技術開発も悪い道ではない
プロジェクトの第2段階、つまり拡大段階に力を貸せる人を知っているなら、Nat に知らせてほしい。プロジェクト運営チームと直接関係があるわけではないが、あちらの連絡先として素晴らしい人だと示しているだけだ
妻とイタリアを旅行したとき、Herculaneumは最も印象に残った場所の一つだった
発掘のためにどれほど大量の灰や土を取り除く必要があったのか、その規模をきちんと分かっていなかったが、数十メートルもあった [1]
Pompeiiが受けている注目のごく一部しか受けていないのが本当に惜しい。保存状態ははるかに良く、本当に畏敬の念を覚えた [2]
数時間かけて現地を歩いてみることを強く勧める。本当に驚くべき場所だ
1: https://www.icloud.com/photos/#08dJAA5eM9jpbhlEa3fzkl5ng
2: https://www.icloud.com/photos/#076Pof4FziA7WgcI8hZrGZmzg
ゲームは、Vesuviusが噴火する前にHerculaneumから脱出しなければならない奴隷として始まる。子どものころ本当に好きだったゲームで、粗削りなインターフェースの等角視点イマーシブシムに近かった
そのゲームのおかげで古代ローマに興味を持つようになり、いつかHerculaneumに行ってみたい
これまでに発掘されたのは約4分の1だけで、3分の2ほどが明らかになっているPompeiiとは対照的だ
今年読んだ中で最もすばらしい内容だ。ほとんどSFのように読める
2,000年前の、巻かれたまま真っ黒に炭化した紙から文字を読むことが可能だなどと、誰が想像しただろうか
産業革命、科学、工学と製造能力全体の蓄積が、巻物の発見、保存、スキャンを可能にし、最後に現在のAI革命が、人間の理解を超える推論とつながりを生み出す装飾のように加わった
そうして2,000年前の古代の知恵が飛び出してきたわけだ
実際、このような巻物を仮想的に展開する研究は2007年から進められていたが(https://en.wikipedia.org/wiki/Herculaneum_papyri#Virtual_unr...)、こんなに早く実現するとはまったく予想していなかった
技術の指数関数的な加速が、またしても事実であることを示している
本を細かく切り刻み、その断片を吸い込んで流れている間にスキャンし、そのスキャン結果をジグソーパズルのように組み合わせて原文を復元する場面があった
副次的な筋だったのだが、どうしても本のタイトルが思い出せない
こういう前提のSFなら、かなり惹かれそうだ
ある億万長者が、機械に依存する代わりに自分の体をフリーズドライにして月の南極のクレーターに保管してもらう。そして財団を設立して星間推進の研究を支援させ、Boomerang Nebulaの1ケルビン地点へ向かう途中で見つかる最も冷たく安定した地点へ体を移し、炭化した状態から蘇生する研究も続けさせる
その財団は、任務を完遂しようとするドン・キホーテ的な目標のために、実用核融合、より異国的なエネルギー生成、汎用人工知能、重力操作、Drexler式ナノテクノロジー、Dyson swarm、star wisps、自己修復する身体のような、あらゆる発展を促す
考古学で本当に魅力的な側面の一つは、一部の遺物をあえて調査せずに残しておく慣行だ
最初に巻物を発見した人たちは、いくつかを開こうとして、完全に破壊せずには不可能だと悟り、残りはそのままにしたようだ
無理に押し進めて全部台無しにする代わりに、未来の時代のための謎として残したわけだ
2世紀後になって初めて、彼らにはまったく想像もできなかった技術の助けを借りて、ついにこれらを理解し始められるようになった
むしろ1990年代や2000年代初頭の人たちのほうに感心する。そのころには可能性があったかもしれないが、それでもリスクが大きすぎたため、より安全な見込みになるまで我慢した
当時の教育の大部分はラテン語の学習であり、同時に古典テキストのうち保存されているのはごく一部だけだという事実もよく分かっていた
だから、この巻物を保存し、いつか開けるようにすることがどれほど重要かを理解していた可能性は非常に高い
Naplesにある巻物には16MBを超えるテキストが入っていると推定されるというのだから、驚くべき成果だ
パピルス学チームの一部は、このテキストが公開されれば、ルネサンス以降の古典学における最大の革命になると見ているそうで、イタリア政府がVillaの追加発掘を許可してくれることを願う
ただし、私たちはこの巻物の**5%**しか読んでおらず、すでに発掘済みのものも膨大にあるので、今あるものを処理するだけでもおそらく数年はかかるだろう
取り壊しなしには発掘できないという意味ではないが、Saint Peter大聖堂の下のScaviのような例はあっても、はるかに難しくなる
もともとブレークスルーとなったモデルが GTX 1070 で学習されたという点も含め、本当にすごい仕事です: https://twitter.com/LukeFarritor/status/1754532281690243339
関連記事:
First word discovered in unopened Herculaneum scroll by CS student - https://news.ycombinator.com/item?id=37857417 - 2023年10月、コメント207件
The Vesuvius Challenge - https://news.ycombinator.com/item?id=35322809 - 2023年3月、コメント32件
Vesuvius Challenge - https://news.ycombinator.com/item?id=35169869 - 2023年3月、コメント32件
Can AI Unlock the Secrets of the Ancient World? - https://news.ycombinator.com/item?id=39261465 - 2024年2月、コメント1件
それから、OPとおそらく同じ内容を扱っているツイートもあります
The $700k Vesuvius Challenge prize has been won - https://news.ycombinator.com/item?id=39261933 - 2024年2月、コメント2件