Linear Book Scanner: オープンソースの自動書籍スキャナー (2014)

 (linearbookscanner.org)
2 ポイント 投稿者 GN⁺ 2023-09-18 | 1件のコメント | WhatsAppで共有
  • Linear Book Scanner は、低コストで自動ページめくりとスキャンを処理するオープンソースの書籍スキャナー
  • 本が装置の上を 前後に移動 する間、ページめくりとスキャンが順次行われる
  • 1回移動するたびに 真空吸引 によって片側のページを反対側へめくる構造
  • ページは2つの イメージングセンサー を通過しながらスキャンされる
  • 専用ソフトウェアがスキャン結果を 検索可能なPDF に変換し、実用性を高める

本をめくりながらスキャンする構造

  • Linear Book Scanner は 低コストのページめくり書籍スキャナー として設計されている
  • 設計は オープンソース として公開されており、誰でも自作できる
  • 本は機械の上を前後に動き、通過するたびに真空がページを片側から反対側へ吸い上げてめくる

スキャン結果

  • ページは2つの イメージングセンサー を通過する間にスキャンされる
  • ソフトウェアはスキャンした本を 検索可能なPDF として生成する

関連記事

1件のコメント

 
GN⁺ 2023-09-18
Hacker News のコメント

  • この話題には https://diybookscanner.org/ にコミュニティがある
    数年前に Java で bookbuilder という小さなツールを作った。手でページをめくって写真を撮ったあと、全画像を自動処理して検索可能な PDF を作れるものだった
    https://boofcv.org/ という純 Java の コンピュータビジョンライブラリを使っていて、今も存在し、かなり高速
    ページ輪郭の検出、傾き補正、画像の平坦化、肌色のマッチングによる指の輪郭除去まで自動で処理し、その後、見えない OCR レイヤーを含む PDF をユーザーの介入なしに作成できた
    平坦化を改善するために、一種の watershed アルゴリズムで線の傾き検出にも取り組んだ記憶がある
    面白いプロジェクトだったし、ソースコードがどこかに残っているのか気になる。ダウンロードページも今は消えていて、当時はこういう小さなサイドプロジェクトが他人にとって面白いものになるとは思わず、オープンソースとして公開する前だった

    • https://diybookscanner.org/ の実際の ブックスキャナーフォーラムは現在数週間にわたって停止しており、復旧作業中
    • 昔から本のスキャンに関心があり、おそらくこのソフトウェアを見た記憶がある
      サイトで見た初期バージョンの一つを作ったし、数年前には偶然 Jonathon Duerig に会って、彼のためにウォータージェット切断の作業もした
      初めて Linear Book Scanner を見たとき、上下が逆だと感じた。吊り下げ構造で自分で動けるなら、本の質量を知らなくて済み、摩擦を扱う問題も避けられる
      カウンターウェイトで力を一定に保てるし、どんな本をスキャンする場合でも、動かすのは既知の質量だけで済む
    • BoofCV は本当に素晴らしい
      今日まで知らなかったのが残念で、知っていれば時間をかけて学び、貢献していたと思う。まだ可能性はあるが、今見たところ、聞いたことのあるほぼすべての機能と、それ以上のものをすでに扱っているようだ
      例を一つ一つクリックして 30 分を過ごした
    • 可能なら GitHub で公開してくれるとうれしい

  • 似た商用スキャナーがあり [1] [2]、これも V 字型設計だが、上からスキャンするように反転した形になっている
    本が動くのではなくスキャナーが動くので、本に対してははるかに優しく動作する
    この方式の オープンソース代替が開発されているのを見るのはとても喜ばしい
    [1] https://www.treventus.com
    [2] https://youtu.be/SdipuAuWsEs?si=dFWRtva5gO2oM91o

    • リースやレンタル、またはデジタル化サービスの利用もおそらく高そう
      なぜなら、どちらの選択肢も 価格情報が公開されておらず、問い合わせフォームに記入させるだけだから
    • 元プロジェクトに関連する Google の発表でもこの装置が取り上げられている
      https://youtu.be/4JuoOaL11bw?si=do1qet5Kq_WErQgz&t=162
    • 同じアイデアの DIY 版はこちら: https://www.diybookscanner.org
    • このスキャナーはスキャンするたびに 1ページを切り取る方式なので、優れた代替案なのかはよく分からない
      その後にどれだけ優しく扱うかは、あまり意味がなさそう
      残ったページを再製本して新しい本にするつもりなら、あり得るかもしれない

  • アイデアは気に入っているが、保存目的や価値のある本では ページが破れるリスクが少し気になる
    そういう場合なら、いずれにせよ手でスキャンする方を選ぶだろうが、あまりに多くの本をデジタル化したくて、こういう装置が欲しいと思ったことは何度もある
    FAQ の破れたページの頻度についての説明を見ると:

    Prototype 1 could scan the majority of books without damage, but may tear one or two pages in some books. Out of 50 books tested, 45% had one or two of their pages either torn or folded. This is a very early prototype and there are many areas for improvement in the design.
    個人的にはおおむね受け入れられる。特に以後のバージョンで 45% を 10〜20% 程度まで下げられるなら、こういう装置を置くスペースがあれば作ってみたい

    • しばらくの間、Internet Archive は本を V字型クレードルに載せるブックスキャナーを作っていた
      ボランティアが手でページをめくり、2枚のガラス板を下ろして持ち上げながらページをそっと押さえ、角度付きマウントの DSLR カメラ2台が撮影する方式
      装置全体が自動というわけではないが、手で簡単に運用できる
      https://blog.archive.org/2021/02/09/meet-eliza-zhang-book-sc...
    • まだ見ていないなら、このサイトは訪れる価値がある
      https://www.diybookscanner.org/en/intro.html
    • 代替不可能な本、たとえば古くて絶版の本なら、まったく受け入れられない
      破れたページは0枚でなければならない
      コンピュータ以前には電子コピーもなかった

  • この分野では、ソフトウェアが可能な水準にまだ追いついていないため、ソフトウェアでできることを人間がハードウェアで処理している
    2枚以上の写真やステレオ画像、たとえば新しい iPhone のような入力があれば、三角測量で平坦化されたページを推定し、フラットベッドスキャナーで切り出したページのように見える画像を作れる
    その後は、エチオピアで本を傷めないよう慎重にページをめくる人に十分な報酬を払えばよい
    研究者なら誰でも知っているように、現在のデジタル図書館には品質の疑わしいスキャン成果物が1世紀分積み上がっている
    AI は、8K モニター上で元のアウトラインフォント形式と見分けがつきにくいスキャンを推定できる
    以前、1980年代のフォント戦争に関連して、古い形式とデジタルスキャンを PostScript と TrueType フォントに変換する仕事について助言したことがある
    当時は難しかったが、ソフトウェアが追いつけば、これがテキストスキャンの正しい方法だと理解されるだろう
    科学文献には、各ページを再現できる LaTeX ソースを復元する ChatGPT のようなものが必要だ。実のところ、固定テキストとリフロー型テキストを同じくらい簡単に書けて、かつ難解さの少ないLaTeX の後継が本当に必要だ

    • これは非常に物理的な問題で、使える近道はあまりない
      保存プロジェクトに参加して雑誌を本当に大量にスキャンしたことがあるが、一般にフラットベッド上に置くかどうかはあまり重要ではなかった。いずれにせよ、手でページをめくるのに時間がかかる
      雑誌や本を非常に高速にスキャンする既知の方法はすでにある。背の製本部分を切り落とし、ページを自動スキャナーに入れる方式だ
      もちろんスキャン後も現物を保存したいなら、コピーが破壊されるので適用できない
      結局、現物を壊さずにスキャンを自動化する最善の方法は、上部カメラとページめくり機を組み合わせる必要がある。Google の大規模スキャンプロジェクトもこの方式だったのだと思う
      X線でページをめくらずに一部の本を「スキャン」することもできるだろうが、そこにも新しい問題が出てきそうだ
    • 第三世界の労働力を搾取するためのインフラを作ることが、正確にどうソフトウェアの問題なのか分からない
      問題はソフトウェアが歪み補正をうまくできないことというより、本のスキャンの準備をすべて整えた後なら、歪み補正が不要な装置を使うほうがよいという点にある
    • ソフトウェアは2017年にはすでに可能だった。視覚障害者向けの装置で基本的にこの作業をやっており、ステレオ画像も不要だった
      平坦化がどのように動作するかはここで見られる。この部分はライブラリが処理していたので、別途コードを書く必要はなかった
      https://youtu.be/DPu0iJtK2sI?t=1542
      ページをめくるよう知らせ、めくられたかを検知し、写真を撮る機能もある。バックグラウンドでは写真を平坦化し、ページを分割し、OCR を実行する
      少し慣れれば、本1冊を1ページあたり1〜5秒でスキャンして OCR できる
      https://youtu.be/DPu0iJtK2sI?t=1909
      その後、OCR 済みの本を保存しておき、好きなときに読み上げてくれる
    • LaTeX の後継なら、https://typst.app/ がかなりうまく定着している
    • AI は絶対にだめだ。デジタル化の過程でテキストが微妙に変わることは最も避けるべきだ
      https://news.ycombinator.com/item?id=29223815
      もっともらしいが間違った結果の危険は、AI 以前から懸念されてきた

  • こちらのほうがずっと安全に見える
    https://www.inforum.com/newsmd/ndsu-students-book-scanner-in...
    http://diybookscanner.org

    • その方式のほうが確かに安全ではあるが、自動ではなく、誰かがページをめくる必要がある
      このプロジェクトはその問題を解決しようとしているのだが、本を傷めないよう、はるかにやさしい方式でなければならない

  • スキャンしてしまえば全内容がデジタル形式で存在するのだから、スキャン前に本を1枚ずつに解体する方式がなぜスケール可能なモデルではないのか気になる
    追加の解体作業を避けたいということなのか

    • アーキビストは、保存しようとしている作品を破壊することを普通は好まない
      本をスキャンしても得られるのは光学画像だけだ。中世の写本のような場合、ページが消されてから書き直されている可能性もある
      本を単にスキャンしてから物理的なコピーを破壊すると、そうした証拠を失うことになる
      ただし安価な大衆向けの本なら、ほとんどのアーキビストも、数百万部のうち1冊を破壊して作品を保存することにはそれほど気にしないと思う
      本当に問題になるのは、非常に古く、非常に希少な作品の場合だけだ
    • 本が非常に貴重なものでなければ、通常は裁断機で製本部分を完全に切り落とし、シートフィードスキャナーに入れるほうが簡単だ

  • 少しでも傷んだ本は、全部ずたずたに裂けそうだ

    • これを見て私もひやっとした
      デジタル化したい古い本がかなりあるが、よくあるブックスキャナーの多くも少なくとも本を完全に開く必要があり、そうすると言うとおり本が裂ける可能性がある
      そのうえ、そうした装置には真空、鋭い角を通る移動、ステッパーモーターまでは含まれていない
      https://linearbookscanner.org/faq/ の2つ目の質問を見ると:

      Out of 50 books tested, 45% had one or two of their pages either torn or folded
      自分のそれほど貴重ではない本にも、これは使わないと思う

    • 間違いなくそうなるだろう。何かが引っかかったり、環境条件が変わって紙と反応したりすれば、傷んでいなかった本でもそうなり得る
      それでも、スキャンすべき本が山ほどあり、こうした機械で大半を処理して、特殊なケースだけをより慎重に扱えるなら、それは得だ

  • Googleは大まかに言えば、すでにあらゆる本をスキャンしていた。問題は著作権と権利者だった。
    ページをめくる作業には低賃金の労働力を使っていた。誰も先にリンクを投稿しなければ、あとでリンクを送る。
    家に帰って確認したら、この記事だった: https://www.theatlantic.com/technology/archive/2017/04/the-t...

  • 本当に格好よく見える。本をデジタル化できるだけでなく、無料で裁断までしてくれる。
    なかなか良い1+1の取引だ。

  • ダニアレルギーがあって、本が棚に6か月ほど置かれていると、触るだけでアレルギー反応が出る。
    表面を払ったり掃除機で吸ったりしても効果がない。
    この装置は、本からダニを取り除いて読めるようにするのに使えそうだ。