Show HN: Autotab - AIベースのChrome拡張機能でSeleniumスクリプトを生成

 (autotab.com)
3 ポイント 投稿者 GN⁺ 2023-10-21 | 1件のコメント | WhatsAppで共有
  • AutotabはAIベースのChrome拡張機能で、ローカルブラウザ上で作業を実行し、Seleniumスクリプトの生成までを目指している
  • ユーザーは業務フローを動画メッセージや文書で伝え、人に説明するようにAutotabへ作業を教えられる
  • Fortune 500企業や急速に拡大する技術志向の企業で、採用・オンボーディング・管理のボトルネックを減らす用途で活用されている
  • 適用範囲はデータ収集、フォーム入力、メッセージ送信、返金トリガーのようなブラウザベースの反復業務全般に広い
  • 対応可能か不確かな場合は作業の録画を送れば24時間以内に返答を受けられ、BPO代替を検討する企業は別途問い合わせが可能

ローカルブラウザで学習し実行する仕組み

  • Autotabは汎用AIエージェントで、ユーザーから任された作業を人が働くやり方に近い形で学習し実行する
  • 作業はユーザーのローカルブラウザで進行し、ユーザーはAutotabが実行する過程を見ることができる
  • 特定の業務フローは、人に引き継ぐように伝えられる

    • 動画メッセージと文書ベースの教育

      • 動画メッセージや用意された文書で作業手順を伝えられる
      • 複雑なワークフローでも、人が業務を説明する方法に合わせて伝達できる構造になっている

企業で狙う反復業務

  • AutotabはFortune 500企業と、急速な拡大が必要な技術志向企業に導入されている
  • 採用、オンボーディング、管理業務が成長速度に追いつかない状況を主要なユースケースとしている
  • 実行可能な業務例は次のとおり
    • データ収集: リード探索、レポート用情報の収集、システム全体の移行
    • フォーム入力: 政府のフォーム、内部管理者アプリ、ERP・RMS・TMSのようなベンダーシステムへのデータ入力
    • アクション実行: 任意のプラットフォームでのメッセージ送信、返金トリガーなど文脈に応じた対応の実行

問い合わせと適用可能性の確認

  • 対応できる作業か確信が持てない場合は、作業の録画をrecord@autotab.comに送れば24時間以内に返答を受けられる
  • BPOを別の方法で代替しようとする企業はenterprise@autotab.comに問い合わせできる

関連記事

1件のコメント

 
GN⁺ 2023-10-21
Hacker Newsのコメント

  • Seleniumプロジェクトを作った者として、テスト自動化はAIのキラーアプリの1つになると思う。
    生成されたコードでAIが細部を幻覚しないことをどう保証しているのか気になる

    • 現時点では基本的な安全策として、SeleniumのXPathがDOM内で正確に1つの要素だけを選択しているか確認している。
      今後は、ミラーリングされたブラウザが最後の操作をそのまま追従するリアルタイムプレビューを提供し、エラーが出たり意図と違ったりした場合にすぐデバッグできるようにするのが最もよさそう

  • 自分のエージェントシステムのWebアプリを意味のある形で自動化しようとしている。再帰的に自動化が自動化を扱う感じだ。
    少し宣伝すると https://github.com/agi-merge/waggle-dance
    普段Chromeは使わないが、なぜChromeから始めたのかは理解できる。それでもFirefoxやSafari版も出てくれるとうれしい

    • waggledance.aiを見たが、できることはすごくて興味深い。
      ただ、よくできたUIを除けば、GPT-4の回答では得られない何をwaggledanceが提供してくれるのか気になる。
      自分の経験では、タスクを生成して分解するやり方はChatGPTに聞いて得られる結果とかなり似ている
    • 他ブラウザ対応も、いずれは確実に計画している

  • 父の業務を自動化するために、Seleniumスクリプトを自分で書いたことがある。たとえばスプレッドシートから名前を取得してWebサイトの検索欄に入力し、同じ動作を何百人分も繰り返す作業で、かなり時間を節約できた。
    機械に直接見せるだけでブラウザ自動化をもっと簡単にできるなら、多くの人の生活がずっと楽になると思うので早く試してみたい

    • そういう作業を助けるのは、私たちが期待している方向性とよく合っている。使ってみた感想を聞きたいし、話してもよければプロフィールにメールアドレスがある

  • これをサーバーに載せてBrowserBoxとして提供し、モバイルでも自動化を作れるようにしたい。
    もともとBrowserBoxを作った理由も、拡張機能に縛られないWebスクレイピング作成ツールの配信プラットフォームにするためだったが、リモートブラウザ自体を製品化する中で、まだ自動化作成ツールまでは手が回っていない。
    これを作ってMITで公開してくれてありがとう。AIで強化された、人が導くWebスクレイピング作成のやり方がこの分野の未来だと思う。
    名前もいい。autotab。
    近く出すBrowserBox SaaSの名前をCloudtabsにしようとしているので、ちょっとした「シナジー」もある。
    https://github.com/BrowserBox/BrowserBox

    • BrowserBoxはよさそうだが、READMEだけではどのブラウザエンジンを使っているのかわかりにくかった。自作なのか気になる

  • https://ray.run/ でPlaywright向けにほぼまったく同じものを作っている。テスト作成の未来がこちらの方向にあることは疑いようがなく、来週リリース予定だ。
    アプローチは少し違うようだ。LLMは要素の識別にだけ使い、実際の生成器は https://ray.run/browser-extension で作っている

    • 訪問者が prefers-reduced-motion を設定しているときは、アニメーション背景を無効にすべきだ。
      でなければ、全体的に無効にしてもいい。かなり気が散る

  • ChromeのRecorder機能とどう違うのか気になる。
    DevTools > Recorderでユーザージャーニーを記録し、Puppeteerスクリプトとして出力できる

    • 最大の違いは、autotabがPythonスクリプトを出力する点だと思う。既存のPythonコードベースに統合しやすい。
      今後はPythonコードとエコシステムの柔軟性のおかげで、より多くの機能を作りやすくなると思う。たとえばブラウザベースの作業は完全には決定的ではなく、Webページの情報を要約したり、テキストボックスに合う回答を動的に埋めたりするように、自動化の途中でより多くの知能が必要になることが多い

  • YCの投資を見て、https://www.ztool.co の創業者だと知った。ピボットしたのか、それともztoolを補完する製品なのか気になる

    • これは間違いなくピボットに近い。ただしZTool製品自体もこれまでに何度か大きく変化してきた。
      ここ数か月、作ってユーザーと話しながら学んだことは、autotabをやるに至った2つの理由に整理できる。
      第一に、AI生成ソフトウェアはまだ非技術ユーザー向けの準備ができていない。ZToolではコーディングを知らない人でも簡単に自動化を作れるよう注力してきたが、今はモデル出力がコードであるほうがよいと考えている。だからautotabは、Pythonコードをレビューして修正できるユーザーに焦点を当てている。
      第二に、意図を伝える方法が重要だということだ。「この作業は面倒だ」から構造化された表現を作るには、意外と多くの認知的努力が必要になる。AIデモは短いプロンプトで意図を伝えることに集中してきたが、複雑な領域ではうまく機能しない。ブラウザを通じて意図を伝える方法は非常に直感的でなじみやすく、強力に思える

  • 「Seleniumが制御するChromeセッションを実行した後にGoogleへログインする」とあるが、なぜGoogleログインが必須なのか気になる

    • この部分は修正済みで、autotab.com/dashboard から APIキー を取得し、autotab record 実行時にそのキーだけで認証できるようになった。もうSeleniumブラウザでGoogleにログインする必要はない
    • 現在はautotab自体のログインにGoogleログインしか許可していないが、まもなくユーザー名/パスワードログインや他の選択肢も追加する予定だ。
      フィードバック次第では、ユーザー自身の OpenAI APIキー を持ち込むオプションも用意できる

  • 開いているブラウザウィンドウでショートカットのように使えるワークフローまたはマクロを記録できるのか、それともブラウザウィンドウを開いていくつかの操作を実行する自動化プロセスに限られるのか気になる。
    たとえばタブが複数開いていて、各タブにYouTubeの全画面ボタンのような同じ要素がある場合、「全画面を終了し、次のタブへ移動し、そのページの動画を全画面に切り替える」といったことをAutotabで記録できるのか知りたい

    • autotabスクリプトが起動したブラウザインスタンス内で常にYouTube動画を開くなら、ある程度は可能だが、短く答えると今は難しいと思う。
      こうしたマクロはとても興味深く、ブラウザがこの種のAIと自動化のためにどう設計されうるかについては以前からよく話してきた
    • どんなマクロを定義したいのか気になる。もっと学びたい領域だ

  • これをできるだけ実用的にするには、ルールセットを持つLLMがページの動的な状況を解釈して行動できる必要がある。
    たとえばカートに追加しようとしたとき、LLMが在庫切れというルールを検知したら別の動作をするといった具合だ。
    将来的に、こうしたLLM強化型でルールベースの分岐ロジックがこのソフトウェアで可能になるのか気になる

    • とても同意しており、今まさに積極的に取り組んでいる。
      興味深い問いは2つある。1) ユーザーが意図を伝えるのに最も効果的な形式は何か、もしかするとポイント＆クリックではないかもしれない 2) モデル出力を監査可能かつ編集可能な形でどう表現するか、という点が核心だ