CS学生、未開封のヘルクラネウム巻物から2,000年ぶりに最初の単語を発見
(scrollprize.org)- 79年のヴェスヴィオ火山噴火で炭化した ヘルクラネウム巻物 は、開けば砕けるほど脆かったが、CTスキャンと機械学習によって内部の文字を読める可能性が確認された
- Vesuvius Challenge参加者の Luke Farritor は、未開封の巻物の中から完全な単語を見つけ、$40,000 First Letters Prizeを受賞した
- 発見された単語は古代文字 ΠΟΡΦΥΡΑϹ で、現代表記では “porphyras”、「紫」を意味するが、文脈や単語の区切りはまだ確定しにくい
- Casey Handmerの crackle pattern の発見がLukeとYoussef Naderのモデル改善につながり、Youssefは同じ領域でより鮮明な独立結果を出して $10,000 2等賞 を受賞した
- 公開コンペ、オープンソースツール、セグメンテーション作業がかみ合い、$700,000 Grand Prize の達成が現実的な目標として近づいている
2,000年間開けなかった巻物から現れた最初の単語
- ヘルクラネウム・パピルスは、ポンペイ近郊の私邸の図書館にあった古代の巻物で、西暦79年のヴェスヴィオ火山噴火の際に埋没し、炭化した
- この図書館は古代から現存する唯一の図書館であり、約2,000年にわたって火山泥の20m下に埋もれていた
- 1700年代に発掘されたが、巻物は誤って扱うと粉になるほど脆く、物理的に広げて読むのは難しかった
- Luke Farritorは2023年8月、未開封の巻物内部で 完全な単語 を見た最初の人物となり、$40,000 First Letters Prizeを受賞した
- この賞は、巻物の4cm²の領域で少なくとも10文字を見つけるともらえる
- Youssef Naderも同じ領域で同じ単語を独立して発見し、より鮮明な結果によって $10,000 2等賞 を受賞した
- 公開されたコードは Luke、Youssef のGitHubで見られる
CTスキャン、正解データ、Vesuvius Challengeの出発点
- 2019年、University of Kentucky EduceLabのBrent Seales教授は粒子加速器でヘルクラネウム巻物を撮影し、最大 4µm解像度 の3D CTスキャンを生成した
- 研究チームは、目に見えるインクが残る分離断片もスキャンし、写真として記録して 正解データセット を用意した
- Stephen Parsonsは分離断片のCTスキャンから機械学習でインクを検出する作業を行い、分離断片では成果を上げた
- Nat FriedmanとDaniel Grossはこの進展を加速するために Vesuvius Challenge を開始した
- 2023年3月に公開コンペを開始した
- $700,000 Grand Prizeとともに、オープンソースのツール・技術開発のための複数の小規模賞を提供した
- 初夏からセグメンテーションチームが加わって巻物の3D構造をマッピングし、7月までに数百cm²のパピルスをセグメント化して 仮想的に展開 した
Casey Handmerが見つけたインク信号
- Casey Handmerは2023年8月初め、CTスキャンのセグメントを長時間観察しているうちに、インクのように見える crackle pattern を発見した
- Stephen Parsonsは以前に分離断片でインクの直接的証拠を見ていたが、未開封の巻物内部ではまだ確認されていなかった
- Caseyは未開封の巻物の中で インクと文字 を見つけた、2,000年ぶりの最初の人物となった
- この発見はLukeのモデルとYoussefのアプローチの両方にとって直接の出発点となり、Caseyは $10,000 First Ink Prize を受賞した
Luke Farritorのモデルと “porphyras”
- Luke Farritorは大学生であり、SpaceX Starbaseの夏季インターンでもあり、Dwarkesh PatelによるNat Friedmanへのインタビューを通じてVesuvius Challengeを知った
- DiscordでCaseyのcrackle patternに関する議論を見た後、夕方から夜の時間を使ってこのパターンを学習する 機械学習モデル を訓練した
- 新しいcrackleが発見されるたびにモデルが改善され、その改善されたモデルがさらに多くのcrackleを浮かび上がらせるという反復サイクルが生まれた
- モデルはいくつかのインクの筆画と一部の完全な文字を見つけ出し、それらは学習用のラベルデータとして使われた
- 時間がたつにつれて、モデルは人の目では見えないcrackleの痕跡まで浮かび上がらせ、それが文字や単語の手がかりとなった
- Lukeの最初の提出物には ΠΟΡΦΥΡΑϹ、つまり “porphyras” がかすかに現れていた
- Brent Seales教授がこの画像をパピルス学者たちに見せると、彼らはかすかな文字であるにもかかわらず、すぐに “porphyras” と読んだ
- 技術レビュー後、新しい画像がパピルス学者パネルに送られ、彼らは独立して満場一致で 13文字 に注釈を付けた
- 信頼度は80%超、50〜80%、50%未満に区分された
- “porphyras” は「紫」を意味し、古代文献では非常にまれな単語である
- あるパピルス学者は、文脈が不足しているため、名詞の「紫の染料または紫の布」なのか、形容詞の「紫の」なのか、あるいは別の単語境界なのかを排除できないと見ている
- 当時の文献は空白を使わなかったため、単語境界の判断 はさらに難しい
Youssef Naderの独立したアプローチ
- Youssef Naderはベルリン在住のエジプト出身のバイオロボティクス大学院生で、CaseyとLukeの結果に刺激を受け、別の方法を試した
- まず Kaggle Ink Detection prize の優勝作を検討した
- このコンペはStephen Parsonsの分離断片ベースの機械学習アプローチの改善に焦点を当てていた
- Youssefは巻物データに対する 自己教師あり事前学習 と、断片ラベルに基づくファインチューニングによってモデルを巻物向けに移行した
- “Ink Detection Followup Prize” のアイデアで小規模賞を受けた後、Lukeの初期結果がXとDiscordで共有されると、同じ領域に集中した
- Kaggleコンペで変形したモデルでいくつかの文字を見つけ、Casey方式のようにcrackleを手作業で探したわけではなかった
- 文字のように見える形をラベルデータとして注釈し、それを反復的な pseudo-labeling で拡張した
- 最終モデルは巻物内部のセグメントだけで学習され、この結果によってFirst Letters Prizeの2等を獲得した
- パピルス学者たちはYoussefの結果で文字に対してより強い合意を示し、上部の πιθαν な単語 “ανυοντα / ANYONTA”、下部の “ομοιων / OMOIωN” の可能性まで検討した
- これらの単語が正しければ、そのパピルス巻物は現代世界に知られていない まったく新しいテキスト を含んでいる可能性がある
公開コンペとオープンソースが生んだつながり
- 複数人の貢献が発見までの経路に直接つながり、competition + open source と段階的な賞金構造が実際に機能した事例となった
- YoussefはKaggleコンペのモデルを活用し、Lukeの結果に触発されて同じ領域を調べた
- Lukeのcrackle探索はCaseyの作業から直接始まった
- Caseyはセグメンテーションチームが数百cm²をマッピングしていたおかげで、多くのパピルスシートを見ることができた
- セグメンテーションチームは、Segmentation Tooling Prizes参加者が作ったツールのおかげで広い領域をマッピングできた
- Julian Schilliger、Chuck、Yao Hsiaoなど複数の参加者の作業が含まれる
- これらのツール改善はBrent Sealesチームの既存のオープンソースツールの上に構築された
- Seth Parker、Stephen Parsonsなど複数人の作業が基盤となっている
- ここまでの経過を見ると、大会運営のほぼすべての要素が load-bearing な役割を果たしており、進展は事後的に見えるよりもずっと脆く、偶然的だった可能性がある
$700,000 Grand Prizeに向けた次の段階
- セグメンテーションチームと参加者たちは引き続き進展を見せており、Youssefのモデルは数日前、より鮮明で大きな新画像を生成した
- 新しい画像では、余白で区切られた 4.5列分のテキスト を明確に見ることができる
- さらに多くの文字が見えているが、すべてがすぐに判読できるわけではなく、パピルス学チームが追加調査を進めている
- Vesuvius Challengeは、今回の進展によって $700,000 Grand Prize が達成可能な目標になったと見ている
- 参加者はDiscordコミュニティ、Substackニュースレター、Xアカウントを通じて参加でき、データやチュートリアル、受賞者の成果、コミュニティツールを見ながら始められる
- 目標は数百本の巻物に眠る知識を開き、古代文献の量を倍増させ、まだ発掘されていない数千本の巻物まで読める可能性を開くことにある
1件のコメント
Hacker Newsの意見
文字は、CTスキャンしたパピルス片の中にギリシャ文字の形に見えるひび割れの質感を探し、訓練データとして注釈を付けている過程で発見されたもの
ただし、そうしたひび割れの質感はほとんどのパピルスでは肉眼では見えず、おそらくインクが非常に厚く付いた場所でだけそのように見えるらしい
電子顕微鏡画像 https://scrollprize.org/img/tutorials/sem.png では質感の違いがずっとよく見え、特にインクが押しのけられた縁で目立つ
Kaggleのインク検出コンペの後になって初めてひび割れが発見されたというのは驚き。Casey Handmerも https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien... で、既知の文字のインクに対応する「ひび割れた泥」や「薄片」の質感を探したが、既知の文字の約10%にすぎなかったと書いている
新しい画像は期待よりはるかに良いが、まだ小さな領域が1つあるだけなので、奇妙な文を数個以上読めるようになるかについては、依然として悲観的に見ている
すべての文字が人間の目にはっきり見えるわけではないはずだが、スキャン画像には層が非常に多いので、画像をめくって見ていくうちに時間をかけてパターンが現れ始めると思う
各ピクセル列を上下に双線形補間して画像ブロックを「整列」させ、ひび割れの質感を平らにする、記憶では全体の分散損失を最小化するコードを書いた
その後、「平坦化」された画像に最適化した2D畳み込みニューラルネットワークを使おうとしていたし、巻物の断面を見ると木のように局所的な圧縮が一貫している部分があり、補間で十分かもしれないと思った
だから、この問題に3D畳み込みを使うことにはあまり賛成できなかった。塗られて乾いたインクは2D畳み込みで検出可能な、半ば予測可能なパターンに従うはずで、必要な不変性は事前にもっと簡単に構造化できると考えていた
コードに興味があれば、探して共有できる
NatのTwitterでの発表も見る価値がある: https://twitter.com/natfriedman/status/1712470683207532906
70万ドルは人生を変えるほどの金額なので、すべてを投げ出して、現代の機械学習で古代の悟りを追い求める修道士のように没頭したくなる誘惑がある
巻物がただの洗濯物リストかもしれないという点も面白い
しかも「発掘は完了しておらず、多くの歴史家はさらに数千本の巻物が地下に残っていると信じている」とのこと: https://scrollprize.org
洗濯物リストなら、高価なパピルスではなく再利用できる蝋板に書いたはず
後には皇帝家以外の人が紫を身に着けることが死罪になることもあり、ヴェスヴィオ火山の時点でもそうだったのかは分からないが、WikipediaによるとCaligulaが紫を着ていたという理由で誰かを殺した可能性があるという
古典文学に入門してみることを強くおすすめする。本当に驚くべきもので想像を超えており、教育課程で少し触れてはいたが、最近になってようやくそのすごさが分かった
初心者にはIamblichusのLife of Pythagoras、Apuleius of NumeniaのThe Golden Ass（Robert Graves訳）、PlutarchのLife of Alexander、XenophonのEducation of Cyrus、PlatoのParmenidesをおすすめする
SHWEP.netも多くの古典を穏やかだが厳密に案内してくれて非常に役立ち、比較的秘教的な方向性があるのだが、その点も気に入っている
古典文学には何度か手を出したことがあるが、いつも読みにくくて最後まで読む動機がなかなか湧かず、このジャンルで自分が何か見落としているのか気になっている
ピタゴラスはおそらく史上最も偉大な哲学者だったはず。彼の精神的後継者であるArchytasも読んでみることをおすすめする。数学・力学・音楽・学習・哲学についての考えが驚くほど素晴らしい
Plato入門として最も良いものとしてはAlcibiadesをすすめたい。楽しく読めるほど軽いが、同時に深く奥深い: https://www.gutenberg.org/ebooks/1676
このテーマについての優れた YouTube 動画を最近見た: https://www.youtube.com/watch?v=Z_L1oN8y7Bs
タイトルは “Herculaneum scrolls: A 20-year journey to read the unreadable” で、どんな技術で実現したのかを少し扱っている
スキャン自体は10年前から存在していたが、紙とその上のインクを区別するには機械学習の訓練が必要で、20年前にはコントラストのより大きい素材でできた別の巻物のセットではすでに可能だった
ディープラーニングは、以前はアルゴリズムでは解けないと考えられていたデータセットの暗号を解き明かしている
今のところ、目で見るには難しすぎる文字を大量に見つけたわけでもなさそう
原文で、モデルの出力に導かれた手作業のアノテーション、追加データによるモデル再訓練を繰り返すプロセスを読むと興味深い
最初から使える正解データだけでディープラーニングを走らせ、モデルが見るべき特徴を知らなければ、実質的にはほとんど機能しなかった
さらに、巻物を仮想的に展開するプロセスも、現状では大部分が手作業で労働集約的だ
今はここで人間が行った作業をディープラーニングモデルにやらせようとしているところだが、まだ実際の文字を見つけることには成功していない
これは21世紀にツタンカーメンの墓の開封を体験しているようなものだ
中期的な未来には、何千年もの間誰も読めなかった新たに翻訳された作品を Amazon で買える現実的な可能性があるというのは、信じがたいほど驚きだ
本当に素晴らしい。ここから何を学べるのか気になる
余談だが、「粒子加速器でスキャン中の Seales 教授とチーム」の写真はテレビドラマの一場面みたいだ。「コンピューターにずっと『enhance』と言い続ければ読めるはずだ」みたいな感じ
私が見た中でも最も極端なデータ復旧事例の一つに数えられそうだ
2000年後には「廃棄されたハードディスクのプラッタから見つかった最初のファイル」みたいなことが起きるのかも気になる
このインタビューの冒頭30分が、今何が起きているのかをとてもよく説明してくれる。本当に興味深い
https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s
“ex-JPL startup founder and polymath” という表現が興味深い
多才な人間だという理由でそんな賛辞を受けたことはなく、私が受け取ったのは「ジェネラリスト」と「慎重に検討した結果、あなたの応募手続きは進めないことにしました」だった
認められようと決めても、「十分に有名ではない」という許されざる罪のせいで押しのけられるのを見たことがある
https://scrollprize.org/ が元々の課題を説明してくれる
他の研究では CT スキャンに基づく仮想展開が可能であることが示されていたが、これらの巻物では CT/X線でインクがはっきり見えなかったため、より微細な構造変化に立ち返る必要があった
紙の構造が変わったのか、実際にインクが見えてはいるが見えにくいだけなのかは、はっきりしていない