ArchiveTeam Warrior プロジェクト

 (warrior.archiveteam.org)
1 ポイント 投稿者 GN⁺ 2024-08-04 | 1件のコメント | WhatsAppで共有
  • ArchiveTeam Warriorは、個人のコンピューターの余剰リソースを使って、消えてしまう可能性のあるWebデータを保存するArchiveTeamの作業に参加できる仮想アーカイブツール
  • WarriorはサイトをダウンロードしてArchiveTeamのアーカイブにアップロードし、ユーザーは主に帯域幅と一部のディスク容量を提供する
  • Windows、OS X、Linuxで実行可能で、推奨環境はVirtualBoxだが、VMwareや同様の仮想マシンプログラムも使用できる
  • VirtualBoxではアプライアンスをインポートして仮想マシンを起動した後、ブラウザでユーザー名と参加するプロジェクトを設定する
  • 最新の仮想マシンアプライアンスはversion 4.1で、VMの代わりにDocker warriorインスタンスでもプロジェクトを実行できる

ArchiveTeam Warriorが行うこと

  • ArchiveTeam Warriorは、ArchiveTeamのWebアーカイブ作業に参加するための仮想マシンベースのツール
    • サイトデータをダウンロードし、ArchiveTeamのアーカイブへアップロードする
    • 実行プロセスは簡単に参加できるよう構成されている
  • Warriorは仮想マシンとして動作し、ユーザーは帯域幅と一部のディスク容量を提供する
  • 実行環境はWindows、OS X、Linuxをサポートする
    • VirtualBoxが推奨される
    • VMwareまたは同様のプログラムも使用できる

インストールと参加手順

  • VirtualBoxで始める

    • applianceファイルをダウンロードする
    • VirtualBoxでFile > Import Applianceを選択してファイルを開く
    • 仮想マシンを起動すると最新アップデートを取得し、その後Webブラウザを起動するよう案内が表示される

  • Warriorの設定

    • http://localhost:8001/にアクセスしてSettingsページを確認する
    • ユーザー名を選択すると、進捗状況がリーダーボードに表示される
    • All projectsタブで作業するプロジェクトを選ぶか、ArchiveTeam’s Choiceを選択して最も緊急度の高いプロジェクトを自動的に担当させることができる

  • 最新バージョンとDockerの代替手段

    • Warrior仮想マシンアプライアンスはversion 4.1に更新されており、既存のwarrior3 applianceリンクは古いリンクである
    • VMアプライアンスなしでもDocker warriorインスタンスでプロジェクトを実行でき、詳細はGitHub repositoryのREADMEを参照する
    • 問題やフィードバックはhackintの#warriorチャンネルで扱う
    • Frequently Asked Questionsを読むことができる

ArchiveTeamとInternet Archiveの支援

  • Internet ArchiveはArchiveTeamのアーカイブをホスティングし、データを保存するだけでなく、誰でも無料でアクセスできるライブラリを維持している
    • 寄付はDonate to the Internet Archiveから行える
    • ArchiveBot、rsyncサーバーなどのためのサーバーレンタルやArchiveTeamメンバーへの寄付は、適切なIRCチャットルームで問い合わせる

参加可能なプロジェクト

  • 現在のプロジェクトにはURLTeam 2、URLs、Blice、Tenor、KakaoTV、Wikimedia Etherpad、Medica Bibliothèque Numérique、Recursive Jobs、Roblox Groups、Peing-質問箱-、Microsoft Update、Meta Ad Library、Twitch、Radio Free Asia、Radio Free Europe/Radio Liberty、Voice of America、US Government、Blogger、Telegram、YouTube、GitHub、MediaFire、Pastebin、Imgur、ВКонтакте、Stack Exchange、Periscopeが含まれる
    • YouTubeプロジェクトは選択されたYouTube動画をアーカイブし、動画URLにIPアドレスが保存されるという警告がある
    • GitHubプロジェクトはInternet ArchiveおよびGitHubと協力して進められる
    • PeriscopeプロジェクトはPAUSED状態である

関連記事

1件のコメント

 
GN⁺ 2024-08-04
Hacker News の意見

  • こういうプロジェクトは絶対に必要だが、単なる保存を超えて、そのデータを実際に一般の人が使えるようにする方法が必要
    Reddit は、誰かがデータをスクレイピングしてアクセスしにくいバックアップを作ること自体は脅威とは感じなかったかもしれないが、Reddit の一部コピーを動かす分散ノードネットワークが、ローカルファーストのクライアントや Lemmy ミラーにデータを提供するなら、はるかに恐れただろう

    • ほとんどのプロジェクトは WARC ファイルを作成し、それをまとめて archive.org にアップロードして Wayback Machine に取り込ませる: https://web.archive.org/
      ちなみに Archive Team は Internet Archive とは別物
    • Reddit は、データをミラーリングして公開するサービスをかなり嫌っており、最終的に API 利用規約を変更して、そうしたサービスにデータを削除させ、閉鎖に追い込んだ
    • いつでも API を変更できる企業を脅かすことが、ここで利点なのかはよく分からない
      PushShift、Nitter、Youtube Vanced を見ればよい
    • BGP を時代遅れにし、DHT/仮想マシンを通じて、グローバルにメモ化された共有コンテンツ/計算アドレス指定メモリを使うP2P の一時的なオフラインファースト・インターネットを夢見ることはできる
      何かのアイデンティティは、その構成そのものになる、という形

  • 関連記事:
    ArchiveTeam Warrior: imgur をできるだけ保存する - https://news.ycombinator.com/item?id=35983510 - 2023年5月、コメント2件
    Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - 2022年3月、コメント51件
    ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - 2021年12月、コメント71件

  • これは Docker で動かせそうだと思ってリポジトリを探してみたら、うれしいことに全部用意されていた
    https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
    https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...

  • 設定はとても簡単
    インターネット料金プランが無制限になったので、小さな形でも貢献できてよかった
    使っていない Android スマホで ArchiveTeam Warrior スクリプトを動かせるか見ようとしたが、直接サポートはされておらず、自分の手には負えなかった

    • x86 マシンで docker compose コンテナとして動かすのは本当に簡単だった
      Raspberry Pi 上の QEMU 内に設定する方法を調べる時間があればよいし、そうした compose ファイルが公開されれば、もっと多くの人が使えると思う

  • 数カ月前、人々が archive.org のようなサービスにディスク容量を提供できるようにするシステムを設計した
    「archive.org のコンテンツ 100GB をホストしたい」と言うと、システムが archive.org と通信して現在最も希少なコンテンツを見つけ、ユーザーに配信する仕組み
    「このネットワーク上で X のコンテンツを受け取りたい」と言えば探してくれる検索機能もある
    torrent の上に薄くかぶせたラッパーに近いが、現状こういうものはなく、アーカイブ関係者に連絡したときもあまり関心を持たれなかった

    • IPFS はもともとその役割を果たそうとしていたのでは？
    • Archive Team には、実質的にこのアイデアと同じ INTERNETARCHIVE.BAK という中断されたプロジェクトがあった
      ただしこのツールを使うと、著作権侵害で法律に違反することになる
    • libgen には本向けにこのようなトラッカーがある: https://phillm.net/libgen-seeds-needed.php
      今は壊れているように見える
    • ファイル系コインのどれかがこれを解決してくれればよかったのに
      固定期間と固定ダウンロード回数に対して料金を払い、データブロックをホストする形でよい
    • 本当に良いアイデアなのに、なぜ受け入れられなかったのか気になる
      理由は教えてくれた？

  • デジタル保存に貢献したいなら、Warrior アプライアンスや Docker コンテナを動かすことを検討する価値がある

  • 人々がサイトをダウンロードした後、Archive Team が用意したアーカイブ設定でアップロードする方式の利点がよく分からない
    Archive Team がサイトを直接ダウンロードして自分たちのアーカイブに入れるより、何が良いのか？

    • A) Archive Team 側のリソースが少なくて済む
      B) おそらくより重要なのは、リクエストが複数の場所から出るように分散され、レート制限やブロックを受ける可能性が低くなること
    • Archive Team は Internet Archive ではない
      archive.org に送り込む前に、どこかへ先にダウンロードしておく場所が必要

  • 攻撃者である自分がランダムなゴミデータを入れたり、ダウンロードしたページを特定の方法で不正に書き換えたりするのを、このプロジェクトがどう防いでいるのか気になる
    HTTPでは不可能に見えるし、HTTPSでは誰が TLS終端 を行うのか？
    Warriorが単なるTCPプロキシで、ArchiveがTLSクライアントなら安全かもしれないが、https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior にはその部分が明確に説明されていないように見える

    • 防いではいないが、実際には問題にならない
      目的は、サイトが停止する前に、できるだけ短い時間で可能な限り多くのデータを取得すること
      偏執的に警戒してアーカイブ効率が落ち、30%を失うより、1%のゴミデータが混ざるほうがましだと考えている
      HTTPSの場合、Warriorは文字どおり wget を実行してWARCファイルとして保存し、そのファイルをトラッカーサーバーにアップロードする

  • Raspberry Piで貢献したいが、ARM非対応 が少し不便
    コンテナをダウンロードして実行して終わりにしたいのに、簡単な回避策がない: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?

    • wget-atをARM向けにコンパイルすると、いくつか 一貫性の問題 がある
      それでもQEMUユーザーモードエミュレーション下で実行でき、実際にいくつかのホストではそのように使われている

  • READMEを読んでみると、次の案内があった
    Version 4 is now available at
    https://warriorhq.archiveteam.org/downloads/warrior4/
    ここには新バージョンのソースリンクが含まれたREADMEがある: https://github.com/ArchiveTeam/warrior4-vm
    この新バージョンはWikiのトップページにも言及されている
    An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
    ArchiveTeamは アプライアンスのダウンロードURL を更新する必要がある