詐欺の未来はすでに来ている。ただ、まだ均等には広がっていない
(manishearth.github.io)- LLMは、採用面接、家族からの緊急連絡、銀行メール、ロマンスなど、個人ごとの口実を作って カスタマイズされた詐欺 を実行し、アカウント乗っ取り後の長期監視や後続攻撃にまでつなげられる
- 従来の詐欺は、低コストの大量送信型と高コストの標的型に分かれていたが、LLMはその間を埋め、標的化された攻撃を低コストで反復 できるようにする
- 2024年の論文では、LLMベースのスピアフィッシングメールのコストは約 4セント と見積もられており、採用詐欺のシナリオはより複雑だが、2026年のLLM性能であれば実行する価値があり得る
- 「自然な文章」「しっかりしたWeb上の存在感」「電話・ビデオ通話による確認」といったヒューリスティックは、コストと能力の代理指標だったが、音声クローン・リアルタイムディープフェイク によって信頼性が弱まりつつある
- 防御は、あらゆるメッセージをより疑うだけでは不十分であり、家族間の 口頭パスワード、別チャネルでの確認、自分から発信したチャネルを優先して信頼すること、ハードウェア2FAといった新しい慣行が必要になる
LLMが作る採用詐欺シナリオ
- 求職者はLinkedInで自分に合った採用提案を受け取り、有名企業の好条件案件に見える面接プロセスに参加する
- 面接前にNDAへ署名するため、法務SaaSのように見えるプラットフォームにログインし、
Sign in with Google/iCloudのようなフローを使う - ログイン画面は本物そっくりに見え、ユーザーが入力したパスワードや「端末で『はい』を押す」2FAフローは、攻撃者が裏側で実際のアカウントログインに利用する
- 攻撃者はセッションクッキーを保存し、ユーザーには正常ログインに見えるようにして アカウントへのアクセス を隠す
- その後の面接や不採用通知は、被害者に疑念を抱かせないための芝居として機能する
- 数か月後、被害者は身元のなりすまし、自分名義のクレジットカード利用、証券口座の一部流出、メールや複数のオンラインアカウントへのアクセス喪失に気づく
乗っ取り後に可能な攻撃フロー
- 攻撃者はメールやアカウントへ継続的にアクセスしながら、ユーザーの行動パターンを監視する
- 標的アカウント向けの警告メールを事前にフィルタリングし、通知が被害者に届かないようにする
- クラウド上のファイルをダウンロードし、他サイトへのログインにもそのアカウントを使う
- 被害者情報を使ってクレジットカードを作成する
- 金融口座からの資金流出は、現代の金融システムの保護装置のため簡単ではない
- オンライン銀行振込は検知される可能性があり、数日かかり、KYC規制のため送金先口座を追跡される可能性がある
- 銀行サイトは2FAやログイン通知を使っていることが多い
- それでも長期にわたり未検知のアクセスがあれば、証券口座 のような、あまり頻繁に確認されない口座を狙える
- 給与が自動入金される口座を見つけられる可能性がある
- パスワード再設定でアクセスした後、少額送金を通じて利用パターンを作れる
- 休暇日程のようなカレンダー情報を利用し、被害者が気づきにくいタイミングを選べる
- 詐欺がまもなく露見すると判断すれば、被害者をアカウントから締め出し、何が起きたのか把握しづらくすることもできる
詐欺のコスト構造が変わる地点
- 従来の詐欺は、おおむね二つのカテゴリに分かれていた
- 大量送信型: 安価で実行しやすく、熟練度の低い人を狙う
- 標的型: 高価で精巧であり、攻撃する価値が高い人や組織権限を持つ人を狙う
- スパム型詐欺がわざと粗雑に見えるのは、より熟練した人が初期段階で離脱するようにして、その後の対応コストを減らすためである
- 技術に慣れた人は、基本的なコンピュータセキュリティ習慣とシステム能力への理解だけで、大量送信型詐欺に対して比較的安全だった
- 個人資産を狙う精巧な詐欺も実際に存在するが、多くの人は自分が標的になる可能性は低いと考えてきた
- LLMは攻撃者能力の二極化構造を変える
- 2024年の論文では、LLMが実行したスピアフィッシングのコストをメール1通あたり約 4セント と見積もっている
- 採用詐欺シナリオはより複雑で高コストだが、2026年のLLMはさらに進歩しているため、実行する価値があるかもしれない
- 詐欺師は数千件の詐欺を同時に運用し、個人ごとの資料を調べてカスタムの口実を作れる
LLMが詐欺にもたらす能力
- 以前は標的ごとに熟練した人間の相当な労力が必要だった作業を、LLMは安価にこなせる
- 被害者調査と最適な接触方法の選定
- 反応に応じて調整されるパーソナライズされたコミュニケーション
- 信頼する家族などの 音声クローン
- リアルタイムに近いビデオ通話ディープフェイク
- もっともらしい偽のWeb上の存在感の構築
- 乗っ取ったリソースのリアルタイム監視と、それに合わせた攻撃拡張
- 標的の探索と選別
- シグネチャベースのスパムフィルタ回避
- パッチ未適用のデプロイ済みソフトウェアに対する既知のCVE探索と接続
- こうした能力はすでに存在しており、今後さらに向上する可能性がある
- トークンコストで動く詐欺は
forループのように繰り返せ、規模拡大によって、個別の詐欺では難しかった戦略が可能になる
規模が開く三つの変化
- 規模は 忍耐 を可能にする
- 人間のチームが個人相手に数か月から数年待つのは難しいが、LLMで多人数を同時に相手にすれば、作戦をしばらく潜伏させられる
- 時間の離れた複数の詐欺を重ねて進めることもできる
- 規模は 組み合わせ を可能にする
- 小さな詐欺で資金運搬役を募集し、その後より大きな資金流出を可能にする、といった結合ができる
- 映画 The Sting で、複数の小さな詐欺によって信頼機関を装っていたやり方が、今でははるかに低コストで可能になるかもしれない
- 規模は 新しい標的 を作る
- 乗っ取られた1,000個のアカウントは、各プラットフォーム内部の認証済みポジション1,000個になる
- プラットフォームが「たまに発生する詐欺コストより便益が大きい隙間」として許容していた箇所も、1,000アカウントが同時に悪用すれば、すぐ閉じるべき大きな穴になる
- 「The optimal amount of fraud is nonzero」という計算も、大規模な同時悪用の前では変わり得る
- こうした攻撃を組み合わせるには、まだ技術が必要だが、再利用可能なツールが詐欺師市場で売られれば、「詐欺版script kiddies」が登場するかもしれない
- 一部の詐欺師はすでにこうした能力を使っている可能性があるが、まだ一般化していないため、個人や企業のヒューリスティックは十分に再調整されていない
既存のヒューリスティックが弱まる理由
- 人々は見知らぬ連絡を受けると相手を検索し、家族からの連絡は電話やビデオ通話で確認し、会話が影響の大きい要求へ変わる地点を警戒してきた
- これらのヒューリスティックの一部は コストの代理指標 だった
- 流暢でパーソナライズされた文章は、実際の人間が時間をかけたという信号だった
- 強いWeb上の存在感は、装うのが難しく高コストな信号だった
- 詐欺師がたった一人のためにそこまでの労力をかけないだろう、という判断が働いていた
- 別のヒューリスティックは 能力の限界 を前提にしていた
- 以前は家族の声を電話で自然に真似るのが難しかった
- ビデオ通話で会った相手は実在の人物であり、必要なら警察が特定できるだろうという期待があった
- LLMとディープフェイクは、コストと能力という二つの基盤をどちらも揺るがす
- 結果として人々は、詐欺を避けるだけでなく、何が本物かを確信するためにも、より多くの労力を払わなければならなくなる
- 別の都市にいる家族が緊急送金を求めてきたとき、アカウント乗っ取り、通信の傍受、ディープフェイクの可能性を同時に考慮しなければならない
- 直接会いに行く、あるいはその地域にいる別の人に確認を頼むといったレベルの追加確認が必要になるかもしれない
制度的ヒューリスティックも揺らぐ
- 個人だけでなく、金融機関や規制もヒューリスティックに依存している
- 米国の消費者向け銀行保護は、送金を誰が承認したかに強い線引きをしている
- 誰かがアカウントにアクセスして不正送金したなら、銀行が被害を補償する構造である
- ユーザーがだまされて自分で送金したなら、犯罪申告はできても、誰かが必ず補償しなければならないわけではない
- この区別は、「パスワード窃取」が標的型の手動説得詐欺より容易だった世界では理にかなっていたが、LLMによって標的型説得のコストが下がると揺らぐ
- 英国は2024年に、だまされて送金した顧客についても銀行が補償することを求める法律を通した
- ただし、すべての詐欺被害を銀行が補償するようにすると、コストが銀行へ過度に移り、銀行が詐欺被害に遭いやすい人との取引を避ける選択をする可能性がある
新たに必要な防御のあり方
- すべてのメールやすべての電話音声を極端に疑うだけでは不十分である
- 従来のヒューリスティックは、今では安価に偽造できる信号を検出する代理指標だったからだ
- Wikipediaを学校の課題に使わせなかった時代のように、古い信頼ルールにしがみつくのは、方向を誤った補正になるかもしれない
- インターネット上の情報爆発の後には、出典確認やクロスチェックといった新しいヒューリスティックが必要になった
- LLM時代の詐欺にも新しいヒューリスティックが必要である
- 詐欺に共通する骨格を見るやり方は有効かもしれない
- 緊急性、秘密保持、普段と違うチャネルの使用要求は、多くの詐欺で繰り返し現れる
- 文面がより洗練されても、「何かを要求している」という構造は残る
- 家族とは 口頭パスワード を決めておく方法が有用である
- パスワードがなければ、公的記録に残っている可能性の低い過去の出来事を確認に使える
- 技術に不慣れな家族には、「深刻で緊急、あるいは秘密めいた私からの電話が来たら疑い、切ったあと別チャネルで確認してほしい」と伝えておける
- 受信した通信の真正性を信頼するのは難しいが、ユーザーが意図的に発信する経路は比較的信頼しやすい
- 特定のアドレス宛てに書いたメールは、たいていその受信箱に届く
- 特定の番号にかけた電話は、たいていその端末に届く
- 一方で、メールの
from:ヘッダや発信者番号は容易に偽装できる
セキュリティ慣行と今後の適応
- ハードウェア2FAは、詐欺師のツール群の多くを防ぐのに役立つ可能性がある
- FIDO2/WebAuthnは、提供される場合、署名付きの認証交換にWebサイトのドメインを含めるため、フィッシングサイトが署名を単純に中継しにくい
- SMSや認証アプリより強力な保護手段として扱われる
- 完全にだまされないことは現実的ではないが、標的にするのがより高コストで厄介な人間になることはできる
- 防御側もLLMの能力を使える
- MozillaはMythosでFirefoxをレッドチームした後、この種のツールで実際にあらゆるセキュリティ脆弱性を見つけられる可能性があると見ている
- Androidは最近 impersonated call detection を導入した
- 組織やシステムは時間とともにより良い保護策を整えられるかもしれないが、その過程には時間がかかり、軍拡競争になる可能性がある
- 当面は詐欺が急増すると予想され、個人はこの変化が自分や友人、家族に何を意味するのかを考え、助ける方法を探す必要がある
1件のコメント
Lobste.rsの意見
被害者は新しいログイン警告メールを受け取らないのか？ ログイン済みのセッションも確認できるのでは？
ログイン済みのセッションは見えるだろうが、ログインしろというメッセージを受け取った直後に誰もがすぐ確認するわけではない。Googleアカウントはさまざまな理由で、たまに再ログインを求められることも珍しくない
URLバーをより注意深く見るなどの緩和策はあるが、面接プロセスという設定自体が警戒心を下げるように設計されている
そして強調しておくと、原文が最初に扱っている詐欺は、以前よりはるかに自動化しやすくなった詐欺の一例にすぎず、心配すべき類型はそれだけではない
構成要素がある程度そろっているからといって、すべて組み立て可能だと仮定しているが、大規模言語モデルはそうしたことがまともに動くほど信頼性が十分ではない