- 1,100台のスマートフォンを使った「フォンファーム(phone farm)」 がハッキングされ、TikTokで運用されていた AI生成広告アカウントの活動 が明らかになった
- このシステムは a16z が出資するスタートアップ Doublespeed が運営しており、数百以上の AIベースのソーシャルメディアアカウント を管理して製品宣伝に利用していた
- ハッカーはアクセス権を確保し、アカウントの割り当て、プロキシ情報、作業履歴を確認した
- 生成AIで作られた人物画像や動画が サプリメント、アプリ、マッサージ機などさまざまな製品 の宣伝に使われ、広告表示なしで製品を宣伝 していた状況が多数確認された
- ハッカーは 10月31日に脆弱性を同社へ報告したが、現在もバックエンドとフォンファームにアクセス可能な状態だと述べている
Doublespeedハッキング事件の概要
- ハッカーが 1,100台の携帯電話で構成されたフォンファーム を掌握し、TikTokで運用されていた AI生成広告アカウント の活動を露出させた
- このフォンファームはDoublespeedが管理しており、AIで生成されたソーシャルメディアアカウント数百以上 を通じて製品宣伝を行っていた
- ハッキングにより、広告であることを明示していない宣伝コンテンツ が多数存在することが明らかになった
- これらのアカウントは AIインフルエンサーの形で製品を宣伝 していた
- ハッカーは同社のバックエンドにアクセスし、各PCマネージャーがどの携帯電話とTikTokアカウントを制御しているかを確認した
- プロキシサーバーやパスワード、アカウントごとの作業キューまで、すべて露出した状態だった
- ハッカーは約1,100台のスマートフォンを自由に操作でき、計算資源やスパムに悪用できた可能性があると述べた
TikTokでのAIインフルエンサー宣伝の手法
- Doublespeedが運用した400以上のTikTokアカウントのうち、約200が実際に製品宣伝に使われていた
- 多くの投稿が 広告であることを表示しない状態 でアップロードされていた
- 一部のアカウントは実在のユーザーのように見せるため、事前に活動履歴を積む「ウォーミングアップ」過程を経たとみられる
- TikTokの不真正行為の検知を避けるため、実際のスマートフォン利用パターンを模倣していた
具体的な宣伝事例
- AIで生成された中年女性キャラクターが身体の痛みを語りながら Vibitマッサージ機 を繰り返し露出していた
- UCLAの学生という設定のAI人物が製薬産業を批判しながら Rosabellaモリンガサプリメント を宣伝していた
- 製品ボトルのラベルの文字が意味をなさない形で生成されており、AI画像であることが分かった
- 一部のアカウントはAI生成動画まで活用して Playkit のようなTikTokコンテンツエージェンシーを宣伝していた
ハッカーのアクセスと会社の対応
- ハッカーは 報復を懸念して匿名 を求め、10月31日 にDoublespeedへ脆弱性を報告したと述べた
- 記事執筆時点でも、ハッカーは依然として 同社バックエンドとフォンファームシステムにアクセス可能 だと言及している
- Doublespeedは 報道機関のコメント要請に応じていない
プラットフォームと投資家の反応
- Doublespeedは Andreessen Horowitz(a16z) の出資を受けたスタートアップ
- TikTokはAI生成コンテンツへの ラベル表示義務 を明示しており、通報後に当該アカウントへラベルを追加した
- a16zとDoublespeedは事件について公式見解を出していない
- Redditの広報担当者は、Doublespeedのサービスは規約違反に当たると述べた
- Metaは公式回答をしていないが、この事業は 真正な身元表現ポリシー に違反する構造だ
2件のコメント
わあ、こんなビジネスがあるなんて、、、
Hacker Newsの意見
archiveリンク
AIが長期的にソーシャルメディアを破壊している
すでにAI以前から、多くの投稿やコメントはボットや有料アカウントによるものだった
今やRedditはChatGPTよりも信頼できない場所になってしまった
それでもまだThe Onion-verseのような風刺の場は残っている
人間は匿名性と無監督の環境に弱く、こうしたフォーラムはその弱点を極大化する
今の規模では、そもそも良いアイデアではなかった
ますます多くの人がこうしたプラットフォームを離れて主流メディアに戻れば、より理性的になるかもしれない
単に物珍しいからなのか、それとも本当にこういうものを望んでいるのか気になる
今やボットファーム(bot farm) が日常化した現実に生きているのがあまりにも奇妙だ
昔はこういうものをロシアや中国のような権威主義体制と結び付けていたのに、今や私たちもそうなっていくのか？
しかもVCがこうしたものに投資しているとは衝撃的だ
もうa16zのポッドキャストを聞くたびにボットファームが頭に浮かんで、聞くのがつらい
人々は道徳や倫理について本当に考えているのだろうかと懐疑的になる
ただ、それをどう説明すればいいのかわからない
「人間の心に似せた機械を作るな」という言葉を思い出す
まるでButlerian Jihadが予定より早く到来したようだ
抑圧や暴力ではなく、バイラルマーケティングと偽アカウントが反乱を呼び起こしている
OpenAIは複数の訴訟に対応しているが、それはチャットボット利用者が自ら命を絶った事件のためだ
笑える。ちょうどさっき誰かにVibit広告が多すぎて、コメントが全部偽物みたいだと話していたところだった
ハッキングで明らかになった内容が、結局そのスタートアップが自分たちがやると言っていたことをそのままやっているだけだとしたら、これはただの広告ではないかという気がする
ZuhairのTwitterと公式サイトを見ると本当に胸が悪くなる
彼のフォンファームの写真はこのツイートに全部ある
「死んだインターネットを加速させる」だなんて、なぜ私たちがこうした公共空間の荒廃(enshitification) を後押ししているのか理解できない
Coryは最初から正しかった
悪人というより、もっと良いロールモデルが必要に見える
誰でも後で恥ずかしく思うことを一度もやらなければ、反省する機会もないと思う
いつか作り手自身に跳ね返ってくる武器になり得る
これは単に、その会社が自社ビジネスをどう運営しているかを示すレポートのように見える
doublespeed.ai
もちろん嫌だが、マーケティングの包装でごまかす他社よりは正直で、その分まだましだと感じる
ギャンブル？ いいね。スパム？ 投資しよう。広告詐欺？ 問題なし
なぜこういう会社をコンピュータ詐欺・不正利用防止法(CFAA) で訴えないのか疑問だ
こうした欺瞞的マーケティングを扱う法律はすでに存在する
例: 米国連邦規則集 16 CFR Part 255
最悪の場合でも、恩赦(pardon) は最近それほど高くないと聞く