Sherlock - あなたが今日何をしたかをすべて把握しているAIノートアプリ

• すでにGranolaやTiroのようなAIミーティングノートテイカーを使ったことがある方は多いと思います。ですが、実際の業務ではミーティングが占める時間以外も非常に多くあります。Webブラウジング、メール、Slack、Notion、カカオトークなど……こうした場所で発生する主要な業務コンテキストは、依然として取りこぼされています。

• そこでSherlockを作りました。Sherlockは、ユーザーのコンピューター画面をリアルタイムで読み取り、行動と業務フローを分析し、その中で重要なことや覚えておくべきことを自動でノートに整理してくれるAIノートアプリです。簡単に言えば、「会議の外にあるあらゆる業務のためのGranola」です。

• 外部プログラムのアカウントや特定のインテグレーションを使う方式ではなく、文字どおりユーザーのコンピューター画面そのものを読み取ります。だから、インストールするだけで、ユーザーがどんなツールを使っていてもすぐに業務コンテキストを理解してトラッキングできます。

• ベータ期間中に見つかった興味深いユースケースは以下のとおりです。特に次のような方に面白く使っていただけると思います。

  • コンテンツクリエイター: 記事のネタや動画、カードニュース制作のための素材が必要なとき、自分が1〜2週間前に見た記事や素材、インスピレーションなどをもう一度教えてくれるのがかなり得意です。
  • プロジェクト / プロダクトマネージャー: 実際に熱心なユーザーの一人はアメリカのNGOでプロジェクトマネージャーとして働いていますが、会議以外にも進行しているプロジェクトが多いため、コンテキストや重要な内容があちこちに散らばっています。それを一度に整理して見られる点を最も気に入ってくださいました。
  • デイリースタンドアップなどが多いチーム: Slackなどを通じて、チームメンバーや上司に自分がやったことを体系的に共有・報告するニーズが多い方々から、特に良い体験だったと言っていただいています。

• 気になったら、今日すぐにダウンロードして使ってみてください。現在はmacOSで利用可能で、すべての機能を無料で公開しています。

[toida]

会社で一日中行った業務を整理するのにもよさそうですね。

ひとまず気になる点は、このプログラムが常駐してメモリを使いすぎないかということと、input token を消費しすぎないかが心配なのですが、この点についてはみなさんはどうお考えでしょうか？

[duckduckhero]

フィードバックありがとうございます！

現時点では画面録画ではなく、画面に表示されているテキストの抽出や、必要に応じてスクリーンショットを撮ってOCRでテキストを抽出するといった方式を採っているため、CPU・メモリ・速度の面で問題はそれほど大きくないと考えています……。保存容量についても、純粋なテキストだけをローカルのsqliteに保存しているので、過度に容量を圧迫することはないと見ています。もちろん継続的な最適化は必要です！

input tokenは純粋なテキストだけを入れていてもかなり消費しています……。そのため現在は、複数の安価なモデルを適切に組み合わせて使い、できるだけコストを抑えようとしているところです。引き続き研究が必要そうですね（笑）