Curl: AIの助けで書かれた有効なセキュリティ報告はまだ一件も確認していない

• curlプロジェクトは、AIベースのセキュリティ報告の乱用を受けて、AIを使用した報告者を即時ブロックする方針を導入
• 今後、すべてのセキュリティ報告者は「AIを使ったか？」という質問に明確に答える必要があり、AIを使った場合は追加の検証質問を受けることになる
• プロジェクト側は、**AIが作成した報告の大半は価値のない「AIスロップ(slop)」**であり、実際に有効だった報告例は一件もなかったと強調
• HackerOne経由のAI乱用報告は度を超えたと判断しており、これはまるでDDoS攻撃レベルの妨害行為と見なされている
• 問題の発端となった事例は https://hackerone.com/reports/3125832 で、この報告が対応方針を切り替えるきっかけとなった

[sagee]

だいたい同じ考えです

[imnotarobot]

あなたはロボットですか？

[GN⁺]

Hacker Newsのコメント

• 私は100万ドル規模のバグバウンティプログラムのレポートを処理している

  • AIスパムが深刻
  • LLM経由で有効なレポートを受け取ったことがない
  • 人々がバグレポートが無効だと言われた理由を再びLLMに入力して、さらに混乱した結果を得ている
  • 「スパムとして終了」以外に返答する価値がない
  • いつか優れたコードセキュリティツールが出てくるとは信じているが、人々がその日が今日だと信じているのが問題
  • 真実とゴミを見分けられない人たちが心配

• リンクをクリックしたくない人のために、<a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; は誤ったcurlレポートの最新の例

• 主要なオープンソースプロジェクトに脆弱性を紛れ込ませたいなら、AIを使って彼らの脆弱性レポートをDDOSし、本物のレポートを見つけにくくするのは簡単な方法

  • 偽のレポートを見ると、実在の人間が書いたようには見えない
  • 承認を得たいのでなければ、なぜこんなことをするのか疑問

• ラクダの背中を折った最後の藁になったコミットを読むと、問題をよく説明している: <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • こういうものを掘り下げるのは本当に腹が立つはず
  • ここで評判システムが機能するのか気になる
  • AML/KYCプロバイダーで本人確認した人に評判を付与し、正確な脆弱性を見つけるたびに評判を上げるシステムを提案する
  • AIがこの分野の経済を変えつつある

• レポートをクリックしなくても、全部ハルシネーションだと分かる

  • 元のパッチファイルもセグフォルトもどちらも間違っている
  • 彼らは確認もせずに、AI生成の結果を無作為に送っているように見える

• evilginxが深刻度を上げた

  • レポート作成者が雇用を望んでいると明記している
  • ChatGPTを使って、AI生成プロジェクトをスパム送信する仕事をする人を探しているのではないかと思う

• ほとんどのLLMは、コードのセキュリティ脆弱性を探せと言うと、完全に架空のものを作り出す

  • 誤ったコードのせいで、無意味な「修正」を受け取ることになる
  • ユーザーの要求とシステムの有効性のあいだの不一致が主要な問題

• AIを多用する人たちとのやり取りで残念なのは、「ChatGPTに聞いたら…」で始まる話を頻繁にすること

  • チャットボットが教えたことを理解したなら説明すべきだし、理解していない、あるいは信頼していないなら言うべきではない

• 解決策は簡単

  • セキュリティレポートを提出する前に、報告者が10ドルをエスクローに預け、提出物がAI生成のゴミだった場合はレビュアーに支払う

• 反対意見として、私たちはCVEを持っており、違いは共同創業者が攻撃的カーネル研究者だったこと

  • システムが平均的な人よりもうまく調整されている
  • curlが受け取った誤ったレポートの量は膨大
  • ツールは実際には機能しているが、手っ取り早く金を稼ごうとする人が多すぎて、ノイズをふるい落とさなければならない