米国立公文書館、筆記体の歴史文書の解読を手伝う市民を募集中
(smithsonianmag.com)- 米国のNational Archivesには、200年以上前の筆記体の歴史記録が数多くあり、検索・閲覧可能なデジタル文書へ変換するために市民参加が必要とされている
- 毎年数千万件をデジタル化し、AI・OCRも活用しているが、古い手書き文書では認識失敗や誤りが残るため、人の補完が必要になる
- Citizen Archivistの参加者は、別途の応募手続きなしで記録の転写やタグ付けを担当でき、文書のアクセシビリティと検索性を高められる
- 現在5,000人以上が参加しており、Revolutionary Warの年金ファイルや1866〜1870年の職員契約書などの文書群が進行中である
- 筆記体教育はキーボード教育との優先順位をめぐって議論がある一方、20州以上が学校での筆記体教育を求めており、一部の州では2024年に法制化された
200年前の筆記体記録を市民がともに解読
- National Archivesには、200年以上前の文書を含む筆記体で書かれた歴史記録が多く存在する
- こうした文書は読んで理解するのが難しく、特に学校で筆記体を学んでいない米国人にとっては障壁となっている
- Citizen Archivistプログラムは、デジタル文書をよりアクセスしやすくし、「歴史を開く」ことを目標としている
AIとOCRだけでは不十分な歴史文書
- National Archivesは毎年数千万件の記録をデジタル化している
- 歴史文書からテキストを抽出するために、AIと**光学文字認識（OCR）**技術を使用している
- しかし、古い筆記体や文書の状態のため、こうした方法が常に機能したり正確な結果を出したりするわけではない
- ボランティアによる転写は、研究者、系譜研究者、歴史愛好家が文書をより簡単に見つけて読めるようにする助けとなる
参加方法と担当できる作業
- 開始にあたって別途申請書は不要で、未処理の記録を選び、案内に従って作業すればよい
- プログラムは無料で、インターネット接続がある人なら誰でも参加できる
- 筆記体の解読に自信がなくても参加できる
- ほかのボランティアが転写した文書にタグを付ける作業がある
- タグ付けは記録の検索性を高める役割を果たす
- 参加時間は自由で、1日または1週間に30分程度でも作業可能である
進行中のミッションと長期参加の事例
- 5,000人以上がCitizen Archivistプログラムに参加している
- 多くの参加者が、転写とタグ付けを必要とする文書群である**ミッション（missions）**で作業している
- 現在のミッションには、Revolutionary Warの年金ファイルと1866〜1870年の職員契約書が含まれる
- Revolutionary Warミッションは2023年6月にNational Park Serviceとともに開始され、80,000人以上の退役軍人とその未亡人に関するファイルを扱っている
- Pennsylvania州の退職者Alex Smithは、9年間で100,000件を超える文書を転写してきた
- 彼は退職後の生活に目的と規律を与える活動を探していた
- 転写の過程で、Gerald FordにGreen Bay Packersへの加入を提案したメモや、Civil Warの年金記録のような文書に触れた
再び注目される筆記体教育
- 筆記体教育はかつて標準だったが、今では筆記体とキーボード技能のどちらを重視するかをめぐって、教育者と立法者のあいだで意見が分かれている
- ノートPCやタブレットのような機器が広く使われるなかでも、筆記体教育は再び増加する流れにある
- Education Weekによれば、現在20州以上が学校で筆記体を教えることを求めている
- Californiaでは、筆記体教育を義務化する法律が2024年1月に施行された
- 数か月後にはKentuckyでも筆記体教育を求める法律が可決された
1件のコメント
Hacker Newsの意見
興味深いプロジェクトなのに、参加するのを本当に難しくしている
記事にはそのミッションへ直接行くリンクがなく、登録自体は簡単でよく整理されているが、2段階認証を2種類それとなく求めてくる
登録を終えて元のページに戻り、ミッションを探そうとすると少し埋もれていて、文書を開いて読んでみるのは面白かった。当時の人たちの筆跡は全体的にかなり上手だった
ところが文字起こしをどう始めるのか探していると、またログインしていないと言われ、リンクを押すとまたメインページに戻される
こういうプロジェクトに余った時間を提供したいとは思うが、設計の悪いインターフェースをくぐり抜けなければボランティアできない、というのはおかしい
アカウントを作ってログインしたあと、元のタブで州を選ぶとすぐに入れて、文字起こしを始められた
もしかすると uBlock Origin や JavaScript/Cookie の制限のせいでログイン状態がおかしくなっていたのではないかと思う
ソーシャル投稿にあったミッションへの直接リンクは https://www.archives.gov/citizen-archivist/missions/revoluti...
複数のセッションやブラウザを行き来しながら約30分試した末にようやくログインできたが、何が正しくて何が間違っているのかを示す表示がまったくなかった
ログインに成功してもUIの変化がほとんどないので、成功したことにも気づきにくい
ログイン後は、文字起こしする文書を探すのにさらに45分かかったが、見つけた文書やチャレンジで渡された文書はどれもすでに文字起こし済みか、タイプ文書／一覧表で、文字認識がすでにそれなりに処理している状態だった
いくつかの文書の正確さだけ確認してブラウザを閉じ、その後は戻らなかった
1日15〜30分ほど、仕事の休憩中にクロスワードをしたり動画を見たりする代わりに開いて貢献できればと思っていたのに、使うのが難しすぎて残念だった
銀行情報を入れるわけでもないのに、全体の流れがいろいろ面倒そうだ。重要でもないサイトがまるで証券会社のように2段階認証を要求してくるのに、だんだんうんざりしている
「なぜ単にLLMを使わないのか」と聞く前に、記事ではすでにそれを使っているが、常に使える解決策ではないとはっきり述べている
クラウドソーシングのプロジェクトなら、まずLLMで一次文字起こしを行い、ユーザーに画像とLLMの最良の結果を一緒に見せればよいのではないかと思う
後で登録して現在のミッションを見たところ、すべて1900年以降の文書で、組版されたもののように見えた。ぼやけてはいるが、4oは非常に簡単に読み取った
「ペンシルベニア州の退職者Alex Smithのように、何人かの参加者はこのプログラムに人生の何年もを捧げてきた。彼は9年間で10万件を超える文書を文字起こしした」
複数のLLMに同じ10万件の文書を文字起こしさせ、人間と機械のどちらがどれほど正確かを比較すればよい
提示された証拠は、見たところ簡単に文字起こしできる画像1枚なので、説得力が弱い
詐欺師たちがAI分野をあまりにも完全に占領してしまったせいで、いまやOCRが別物として扱われる状況になっているのは残念だ
1814年に、ある女性が当時の国務長官James Monroeに、亡くなった兄の財産を受け取りにスコットランドへ行くための旅券を求めた手紙を1通文字起こししてみた
本当に一風変わった体験で、書き手の筆跡と「同期」できるようになると、流れに入るのが楽しかった
しかも文字起こしする内容を一語ずつ読み、書き直すことになるので、読んだ物語が記憶に非常に強く残る
1ページに異常なほど時間をかけるのだから驚くことではないが、後で思い出そうとするときには嬉しい副作用だ
もちろん、文体を尊重する価値のある作家を選ぶ必要がある。目標言語に慣れていないと、作家の語彙選択や伝えようとしているニュアンスをじっくり考え、英語で適切な表現を探すことになる
そのぶん、イメージの中に長く浸っていられる
何かをそのまま文字起こししても、自分が何を書いたのかまったくわからず、実際に意味を把握するには戻って読み直さなければならない
OCR/LLMを揺るぎなく信頼する側と、まだ技術はそこまで到達していないと見る側は、どちらも部分的には正しいが、互いの話をあまり聞けていないように思える。
根拠のない議論ではなく、実例と共通の結論を探る試みが必要だ。
定型句を処理して労力を大きく減らすのに使えるか？ 使える。結果を人間が確認して修正する必要があるか？ それもその通り。
微妙な例はこちらにある: https://catalog.archives.gov/id/34384201?objectPage=40
o1-proが作成した文字起こしの一つは次のようなもの。(2)
…and I don’t know whether it can be reset for a
date in December or not. Cornell seemed
anxious that it should not come up too close to Christmas,
and of course new suspicion [would be aroused?] [about?] him.
I will take this up with the Judge as soon as I can get rid of the brief.
Meanwhile I would like to know whether there is anything else
in which I can be useful to you, since it behooves me
in ways of uncomfortable relations with the present management.
Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings
on the [Teapot?] trial?
I have no inclination yet whether Wheeler will be wanted in
Washington, but the chances are that he will not.
With regards to all the brethren and [flock?], I am
very sincerely yours,
George A. H. Fraser
英語ネイティブではないのに、間違っている部分が見える。どこが間違いかは読者に委ねるが、少なくとも Teapot trial ではない。
この例ではGPT-4oのほうが少し良く、“New Mexican practise”の部分だけで失敗していた。
https://www.handwritingocr.com の結果はより正確に見え、特にNew Mexicanや、おそらく他の部分も大半を当てていた。
and I don't know whether it can be reset for a date in December or not. Cornell seemed anxious that it should not come off too close to Christmas, and of course New Mexican practice would support him. I will take this up with the Judge and with Hanna the moment I can get rid of the brief. Meanwhile I would like to know whether there is anything else in which I can be useful to you, since it behooves me to be diligent in view of uncomfortable relations with the present management.Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings on the Tenorio tract?
I have no intimation yet whether I will be wanted in Washington, but the chances are that I will not.
With regards to all the brethren and flock, Dan
Very sincerely yours,
George H. H. Baser
それとリンクが間違ったページに飛んでいる。正しいリンクは https://catalog.archives.gov/id/34384201?objectPage=190 だ。
金曜の夜を半分くらい生産的なことに使える何かを探していたところなので、ちょうどいい。
もっと真面目に言うと、保管されて以来誰も手をつけていない手紙や日記を文字起こしするプロジェクトに取り組むのは、本当にすばらしい気分だ。
物理的な文書の前に直接立っていることを除けば、書き手とその時点との距離がほとんど消えるように感じる。
特に、誰かが何かを消したり、間違えたりした痕跡を見ると、なぜそうしたのか想像してしまう。友人がドアの前を通りかかって驚かせたのだろうか？ 窓の外を見て気が散ったのだろうか？ とても近く、同時に遠く感じる。
学習データに飢えている大手 AI企業 が、こういうことに少し支援してもいいのではないかと思う。
ベンチャー資金を少し使って公益にも貢献し、高品質な学習データも得られるのでは？
医学部に助けを求めるべきかもしれない ;)
うちの家族は全員アイビーリーグ出身だが、私が見た中でも最悪の 筆記体 を書く。
妹から届いたクリスマスカードを読むのに1時間かかることもある。
大学でそういうのを学ぶ科目が別にあったのだろうと思う。
筆記体を読む練習をしたくて、一度やってみたい
手で書くことが多く、ノートも全部筆記体で書いている。バインダーがいろいろなテーマで埋まっていくのを見るのが楽しい
筆記体で書く理由はいくつかある：手があまり痛くならないし、公共の場で浅いレベルのプライバシー保護になるし、技術を失いたくないし、何より楽しい
見た目も気に入っている。特別なペンを使っているわけではないけれど、筆記体に自分なりのスタイルを加えて、もっと見栄えよくしている
昔は学校のノートもカリグラフィーで書いていたが、主に教科に集中しない言い訳になったからだった
でも先生たちは、黒板の走り書きを十分速く書き写せないと言って嫌がっていた
これは本当に素晴らしいし、けなすつもりはない
いろいろな意味で、National Archives に参加できる趣味を提供すること自体が目的になり得る
でも……コンピューターのほうが、この作業をずっと上手にできるのでは？
例を 4o に入れてみたら、次のように出してきた：
The following is the declaration of James Lambert, a soldier of the Revolutionary War in North America.
The said James Lambert this day personally appeared in the Probate Court of the County of Dearborn in the State of Indiana and at the November Term of said Court (1841), it being a court of record created by the laws of Indiana and made oath that:
On the 25th day of March 1842, he will be eighty-five years old, that he was born in the State of Maryland, that he is now a resident of said county and has been for the 27 years last past; that he has lived in Virginia, Maryland, and Pennsylvania...
筆記体はアナログ的で流動的なので、書き手ごとの一貫性が乏しく、同じ人の字の中でもよくばらつく
上手に書けば一つの芸術形式に分類できるが、下手だとメタンフェタミンをキメたニワトリが歩いた跡のように見えることもある
キーボードを約50年使ってきたら、自分の手書き文字も読めなくなった
再現可能な署名すらできない
今でもそれをやっているなら、自分が試みる取引の50%は失敗しそうだ
自己表現の一つを失ったのは確かだ