ビデオスクレイピング: 35秒の画面キャプチャから0.1セントでJSONデータを抽出する

• 12通の異なるメールに散らばっている数値を合計する必要が生じた
• コピーするのが面倒だったため、Gmailアカウントを見て回る間に画面キャプチャを録画し、その後 Google Gemini を使ってその動画から数値を抽出してみたところ、非常にうまく動作した

AI StudioとQuickTimeを活用した費用対効果の高いビデオスクレイピング

• まず QuickTime Player で関連メールをたどりながら画面録画を実施
• 録画した35秒の動画を Google の AI Studio にアップロードし、Gemini モデルに JSON 配列形式での抽出を依頼
  • 日付とドル金額を含む JSON 配列の結果を問題なく受け取れた
• 結果を Numbers に貼り付けるため、CSV 形式への変換も依頼して取得
• コストは約0.1セント未満と非常に安価。現在 AI Studio は無料で提供されている

代替手段の限界

• 手作業でのデータコピーはミスが起きやすく、退屈な作業
• Gmail API の利用は複雑で、多くの手間が必要
• ブラウザ自動化では別途メールのパース工程が必要
• メールアカウントへのアクセス権を持つ高度な AI ツールの利用には、プロンプトインジェクションなどのリスクがある

ビデオスクレイピングの利点

• 画面に見えているものをすべて抽出可能
• ユーザーが AI モデルに見せる内容を完全に制御できる
• Web サイトの認証やスクレイピング防止技術の影響を受けない
• セットアップコストが一切かからない
• 非常に安価に活用できる
• データジャーナリズム分野でも有用に活用できる可能性がある

おまけ: LLM価格計算機

• 著者はトークン価格計算のためのツールも別途作成
  • ChatGPT Code Interpreter を使ったが、計算ミスが発生
• Claude 3.5 を活用して価格計算機を制作
  • 入力/出力トークン価格を手動で設定するか、プリセットボタンでモデルごとの価格を設定可能
• 制作全体のプロセスは Claude との対話を通じて、19分で10バージョンまで反復改善された
• 価格情報はスクリーンショットを会話に直接挿入し、Claude に抽出させた