24 ポイント 投稿者 princox 2026-02-19 | 1件のコメント | WhatsAppで共有

https://github.com/unitedbyai/droidclaw
自然言語で目標を入力すると、画面を認識し、ADB経由でタッチや入力を自動実行するモバイルAIエージェントフレームワークです。

動作の仕組みはシンプルです。『画面キャプチャ → ビジョンモデルで認識 → 次のアクションを推論 → ADB実行』をループで繰り返します。たとえば『YouTubeでClaudeを検索して』と入力すると、アプリの起動から検索語の入力まで自動で処理します。

既存のRPAツールと異なる点は、座標をハードコーディングせずに画面を理解して動作することです。UIが変わってもある程度は適応します。

活用できるシナリオ:
∙ アプリUIテストの自動化
∙ 複数のスマートフォンを並列接続して反復作業を分散処理
∙ 物理デバイスが必要な自動化(エミュレーターでは対応できないケース)

引き出しの中に眠っている予備端末があれば、気軽に試せます。ADB接続さえできれば大丈夫です。

1件のコメント

 
vigorous5537 2026-02-19

いいアイデアですね