すべてのISBNを可視化

 (annas-archive.org)
2 ポイント 投稿者 GN⁺ 2025-01-11 | 1件のコメント | WhatsAppで共有

  • ISBNの可視化

    • Anna's Archiveは、人類史上最大のオープンな書誌目録を提供している。
    • 各ピクセルは2,500件のISBNを表し、ファイルが存在する場合はピクセルが緑色で表示される。
    • 全書籍のうちバックアップされているのは16%のみで、さらに多くの作業が必要である。

  • 背景

    • Anna's Archiveは、人類の知識をバックアップするためにISBN番号を活用して書誌目録を作成している。
    • ISBNは1970年代以降、ほとんどの国で出版された書籍に割り当てられている。
    • 中央集権的な権限なしの分散システムとして運用されており、国、大手出版社、小規模出版社の順に番号が割り当てられる。
    • Anna's Archiveは、ISBNdb、Worldcat、Google Booksなど多様なメタデータソースをスクレイピングし、最大規模のオープンな書籍メタデータを保有している。
    • 希少で失われる危険のある書籍を特定し、保存することが重要である。

  • 可視化

    • さまざまなデータセットを個別に見ることができ、ドロップダウンやボタンを使って切り替えられる。
    • データセットには、Anna's Archive、Google Books、Goodreads、Internet Archiveなどが含まれる。
    • 可視化では、規則的な線やブロック、空白領域などのパターンを観察できる。

  • $10,000の懸賞金

    • 可視化を改善するための懸賞金があり、2025年1月31日までにオープンソースのコードを提出する必要がある。
    • 最優秀の提出物には$6,000、2位には$3,000、3位には$1,000が授与され、Monero(XMR)で支払われる。
    • 最低基準を満たさなくても、一部の懸賞金が支払われる可能性がある。
    • 提出物はHTMLを修正して可視化を改善する必要があり、デスクトップとモバイルの両方で適切に動作しなければならない。
    • 追加点は、ユーザビリティと視覚的な魅力に応じて付与される。

  • コード

    • 画像生成コードとサンプルは特定のディレクトリにある。
    • 75MBの圧縮データ形式を使用してISBN情報を提供している。
    • 懸賞金に参加するためにこの形式を使う必要はないが、始めるには最も便利な形式である。
    • すべてのコードはオープンソースとして提供されなければならない。

関連記事

1件のコメント

 
GN⁺ 2025-01-11
Hacker Newsのコメント

  • 下のほうに懸賞金が見えるので、自分の当選確率を捨てるようなものだけれど、この可視化はヒルベルト曲線にマッピングするのにぴったりに見える [0]
    今のようにデータを「縞模様」にすると、並び順では近い点同士でもかなり離れてしまうことがある。Y軸方向に1マス下がる距離はデータ1行分全体を飛び越えるのに対し、X軸方向の距離は元データと1:1で対応しているから
    ヒルベルト曲線にマッピングすると、X軸とY軸そのものには意味がなくなるが、ソート済みリスト上で近い点が出力画像上でも視覚的に近くなる
    ISBNは最初の部分が国、2番目が出版社、3番目がタイトルで、末尾にチェックサムがあるので、チェックサムを取り除き、ハイフンなしでそれぞれを大きな数としてソートすると思う
    そうすると、大きな出版国が占める広い領域が「島」のように見え、その島の中で出版社コードが明るい点として現れるはず。こうした領域にラベルまで付ければボーナス点もの
    以前、面接用に天気データへこの方法を適用したものを作っておいたことがある [1]。季節ごとのデータがまとまって、季節性が非常にはっきり見える
    [0] https://en.wikipedia.org/wiki/Hilbert_curve
    [1] https://graypegg.com/hilbert（https://github.com/graypegg/hilbertcurveplayground このコードで懸賞金に挑戦したいなら参考にできる。再利用するなら少なくとも自分の名前には触れてほしいが、止めることはできない）

    • 2の累乗ではない長方形領域向けの一般化されたヒルベルト曲線であるGilbert曲線もある [0]。オンラインデモもある [1]
      [0] https://github.com/jakubcerveny/gilbert
      [1] https://jakubcerveny.github.io/gilbert/demo/
    • ヒルベルト曲線が、たとえば蛇行パターンより望ましい理由になる性質が何なのか気になる。蛇行パターンでも隣接するISBNは可視化上で隣同士になる
      ヒルベルト曲線は実際には曲線構造の産物にすぎないのに、結果がデータの明確な「正方形」区画のように見えてしまうのが心配 [0]。その意味では、現在の可視化のほうが各国の位置をすぐ把握しやすく、より有用だと思う
      [0] https://raw.githubusercontent.com/jakubcerveny/gilbert/maste...

  • 問題はISBNが階層的ではないということ。ISBNはブロック単位で買うか、ばかげた追加料金を払って個別購入もできる。たった1冊を再刊するために1つ買った立場で言っている
    だからこの可視化は、特に興味深いものや有用なものを示していない
    米国議会図書館分類やデューイ十進分類を使った可視化のほうがずっと有用そうで、特にパブリックドメインや著作権フリーのリポジトリ・目録につながるならなお良い。たとえばJohn Mark Ockerbloomの資料をインタラクティブで視覚的な版にしたようなもの
    https://onlinebooks.library.upenn.edu/

    • ISBNは階層的だ。何を言っているのかわからない。ガリアのようにISBNも複数の部分に分かれていて、ある部分は言語、別の部分は出版社、最後はタイトルに相当する。最後の部分はチェックサム https://en.wikipedia.org/wiki/ISBN#Overview
    • この可視化は見せようとしているものを見せている。主に、世界中の本のうち彼らがどれだけ持っているかだ。階層性とは関係ない
    • 黒いピクセルの量を見ると、ISBNが実際に使われる速度よりはるかに速く割り当てられていることもわかる
      画像は1000×800ピクセルで、1ピクセルあたり2500個のISBNなので、20億個のISBNを可視化している。ISBN-13は12桁とチェック数字1桁で構成されるので、本来なら現在の画像より500倍大きいか高密度になると予想できる
      今のサイズということは、978と979の接頭辞を持つISBNだけが含まれているという意味に見え、下半分がよりまばらなので、おそらく新しい979の範囲に相当する可能性が高い

  • 説明どおりなら赤と緑のピクセルを区別できるはずなのに、色覚異常のせいで見えていないのかと思った。赤と黒しか見えない
    ところが色覚異常補正のブラウザ拡張まで使っても、より多くの色を区別できない。自分だけなのか、グラフがおかしいのか気になる

    • 参考までに、自分は色覚異常ではなく、赤・緑・黒のピクセルが見える。肉眼で見る限り、グラフがおかしいようには見えない
      下へスクロールしてインタラクティブな可視化ツールを見つけ、「Files in Anna's Archive [md5]」に切り替えると、緑のピクセル位置がグレーで強調表示される
    • 自分のように赤緑色覚異常があるなら、こうするとよい
      画像を右クリックして「Inspect」を選び、要素に新しいCSS hue-rotateフィルターを追加する
      element { max-width: 100%; margin: 0 auto; filter: hue-rotate(-90deg); }
      普段は filter: saturate(100); を使うが、この画像にはあまり合わなかった。回転角度は調整が必要かもしれず、自分には-90度が一番合っていた
    • グラフ自体は問題なさそうで、実際に赤と少しの緑のピクセルがある。残念ながら拡張機能側の問題のようだ
    • 自分も色覚異常があるが、このグラフはよくない
    • 緑の点と、緑の点でできた数本の線が見える。拡大してみた？

  • Anna's Archiveは世界の驚異の一つだ。人類がほとんど自滅してもAnna's Archiveが生き残るなら、比較的早い再建に希望が持てるだろう

    • 「比較的早い再建」と言っているけれど、ここで自滅が必要な前提なら、本当に良いことなのだろうか？

  • サーバーのIPがEUでブロックされているように見える。オランダのZiggoインターネットではこんなメッセージが表示される
    「このウェブサイトはブロックされました
    欧州制裁
    欧州理事会は、RT（旧Russia Today）とSputnik Newsのウェブサイトを今後配信してはならないと決定しました。アクセスしようとしているウェブサイトは、この欧州制裁の対象です
    VodafoneZiggoは制裁を履行する義務があるため、ウェブサイトをブロックしました」

    • ポーランドでは問題なく開ける。代わりにこのリンクを使えばよい
      https://web.archive.org/web/20250106112552/https://annas-arc...
    • 更新：DNSサーバー設定を変更し、すでに自分で運用しているサーバーがISPへ転送せずルートDNSを使うようにしたら解決した
    • フランスでは問題なし
    • 自前で再帰リゾルバーを運用すると多少の利点がある
    • フィンランドでは問題なし

  • 他の人にもこのメッセージは見えている？
    「このサーバーは自分がannas-archive.orgであることを証明できませんでした。セキュリティ証明書は*.hs.llnwd.netから発行されています。設定ミスか、攻撃者が接続を傍受している可能性があります」

  • このグラフでは、何が何に対応しているのかかなり分かりにくい。誰かがBookland、つまり978がどこなのかを示してくれれば、方向感覚をつかみやすそう

    • より分かりやすく可視化することこそ、この記事で発表された懸賞金の目的だ

  • あちらのISBNファイルをダウンロードして使うのは違法なのか？ そういう情報を持っていることの何が問題なのか分からない

    • libgenやsci-hubへリンクしているページなら、著作権をそこまで気にしてはいなさそう

  • 「各ピクセルは2,500個のISBNを表します。そのISBNのファイルがあれば、そのピクセルをより緑色にします」とあるが、より緑色が何を意味するのか分からない。濃淡のある緑色が見えない
    それと、黒いピクセルは登録されていないISBNと見ればいいのか？

    • 色覚異常の検査を受けてみることを勧める。緑色はかなりはっきりしていて、特に画像全体の約40%下がったあたりでよく見える
    • よく見ると、確かに茶色がかったピクセルと暗い緑色のピクセルが少しある

  • こんなメッセージが出る
    「欧州制裁
    欧州理事会は、RT（旧Russia Today）とSputnik Newsのウェブサイトを今後配信してはならないと決定しました。アクセスしようとしているウェブサイトは、この欧州制裁の対象です」

    • このウェブサイトはDNSレベルで検閲されているが、エラーページの選択を間違えているようだ
      イタリアでは単にNS_ERROR_CONNECTION_REFUSEDで失敗する
    • 欧州IPでもこちらでは問題なく開ける
    • DNSを1.1.1.1（Cloudflare）や8.8.8.8（Google）のようなものに変えればよい