11 ポイント 投稿者 GN⁺ 2024-04-22 | 1件のコメント | WhatsAppで共有
  • 以前に読んだり見たりしたものを思い出そうとしても、あらゆるアプリを探し回っても見つからないことがある
  • 特に複数のWebページ、動画、チャットメッセージなどに散らばった情報は、一瞬で現れて消えるため、記憶をたどったりブラウザ履歴を探っても、まるで最初から存在しなかったかのように感じられる
  • さらに悪いことに、その情報が削除されたり、隠されたり、修正されている可能性もある

個人メモリ保存アプリを開発した動機

  • 記憶力に自信がなく、それでいて大事なことを見逃すのが怖い(FOMO)人間として、このアプリをWindows向けに開発した
  • 主な着想は、Macアプリ Rewind の初期コンセプトと、Black Mirror S1E3 "The Entire History of You" から得た
    • 登場人物たちが目で見たすべてを記録し、コンピューター画面に現れたあらゆるものを巻き戻したり検索したりできるようにするのが目標だった
  • このアプリはいくつもの追加的な利点も提供する
    • ローカルに保存される改ざん不能な個人メモリ
    • 記憶の手がかりを失うリスクがない
    • ソフトウェア障害時に作業を復元できる
    • ダウンロードしたデータの出所を追跡できる
    • 過去に見落としていた情報を見つけ出せる
    • (個人的には、友人にいたずらするときの道具にもなっている)

アプリの実装方法

  • ffmpeg を使って画面を15分単位の小さな断片ファイルとして録画し、その後 Windows のローカルOCR API と画像埋め込みを使ってインデックス化する
  • 特定のプログラムや画面領域を無視するよう選択することもできる
  • これらすべてはローカルのWeb UIインターフェースを通じて、巻き戻しや検索(ウィンドウタイトル、テキストキーワード、画像説明など)が可能
  • このデータを使って、日次および周期的なスクリーンタイム、日周サマリー、月間ライトボックス生成などの概要機能も追加されている

プライバシー保護とオープンソース

  • プライバシーを重視しているため、すべての処理はコンピューター上だけで行われ、クラウドには何も保存されない
  • Python を使ってすべてを透明性高く実装しており、ユーザー自身で修正しやすい(その分、性能はやや遅くなる可能性がある)
  • サブスクリプション料金なしで無料で利用でき、データはユーザー自身の所有物

プロジェクトの現状と今後の計画

  • 専門の開発者ではないため、個人的な関心と自分で使いたいという思いから開発しており、完璧ではなくいくつか問題があるかもしれない
  • しかし、しばらく使ってみた結果、十分に成熟して安定していると考えている
  • このプロジェクトに興味があるなら、議論に参加したり、問題提起をしたり、貢献したりして、より良いアプリへ育てていくことを歓迎する
  • (Windows に類似のアプリがすでに存在するかは定かではないが、Linux には Memento のようなアプリがあることは知っている。もし知っていれば教えてほしい)

1件のコメント

 
GN⁺ 2024-04-22
Hacker Newsの意見

DejaViewプロジェクトの要約:

  • 20年前に開発されたプロジェクトで、デスクトップコンピュータの使用記録を録画・再生・検索・再開できる機能を提供
  • 画面出力、アプリケーション/ファイルシステムの状態をチェックポイントとして記録し、表示されたテキストを文脈情報とともにキャプチャしてインデックス化
  • ユーザーはデスクトップに表示されたあらゆる視覚情報を検索でき、該当時点の状態に戻って操作可能
  • アプリケーション、Windowsシステム、OSカーネルを変更せず、仮想化によって透過的に動作
  • 実際のデスクトップアプリでの評価では、ユーザーが知覚できないほど低いオーバーヘッドで継続録画が可能で、対話的な利用に十分な速度で検索と再生が可能

類似プロジェクトの紹介:

  • macOS向けオープンソースプロジェクト rem がHNで紹介され、活発な議論があった
  • Windows向け商用プロジェクト TimeSnapper も存在

プロジェクトに対する意見:

  • 長いあいだ持っていたアイデアだったので、誰かが実装したのを見ると感慨深い
  • ただし、データセキュリティには大きなリスクがありそう。アプリケーション自体の悪意ある挙動を防ぐ方法について考える必要がある
  • OCRの代わりにアクセシビリティAPIを使えばテキストを直接取得でき、はるかに効率的だろう。LLMとUIを接続し、学習データを収集する上でも良い方法になりそう

過去の類似プロジェクト事例:

  • 2014年、Savant RecallはYC選考に落ち、その後オープンソースとして公開された
  • Napsterの共同創業者が買収してAtlas Recallに改名し、UI改善と2,000万ドルの資金調達を行ったが、1年でXinovaに買収され、突然サービス終了となった
  • 2019年にはApseというプロジェクトもあった

その他:

  • GitHubの説明によると、年間100〜200GB程度の録画容量が見込まれており、悪くない
  • 新しいアイデアをうまく実装したことを祝福したい。「こういうアプリはなぜないのだろう」と考えるすべての人にとって励みになる
  • Apse.ioに似ているようで、OCRで画面に表示されたすべてを検索可能なインデックスとして構築する。Windrecorderのオープンソースという点が気に入った
  • 従業員のワークステーションにスパイウェアを導入したい大企業に、1席あたり5ドルで簡単に売れそうだ