AIが生成したcurlセキュリティレポート

 (daniel.haxx.se)
1 ポイント 投稿者 GN⁺ 2024-01-04 | 1件のコメント | WhatsAppで共有

バグバウンティ

  • バグバウンティ制度では、ハッカーがセキュリティ問題を報告した際に実際の金銭報酬が支払われる。
  • 一部の人は、ソースコード内のパターンを探したり基本的なセキュリティスキャナーを実行したりした後、追加の分析なしに結果を報告して報奨金を期待する。
  • バウンティ運営の数年間、質の低いレポートの割合は大きな問題ではなく、ほとんどは簡単に見抜いて無視できた。
  • これまでにバグバウンティとして 70,000 USD 以上が支払われ、415件の脆弱性報告のうち64件が実際のセキュリティ問題として確認された。

よりマシなゴミはより悪い

  • レポートがより良く見え、要点があるように見えるほど、それを調査して却下するのにより多くの時間がかかる。
  • セキュリティレポートは、人が時間をかけてレビューし、その意味を評価する必要がある。
  • 質の低いレポートはプロジェクトの助けにならず、生産的な活動から開発者の時間とエネルギーを奪う。

AI生成セキュリティレポート

  • AIは多くの良いことができる一方で、良くないことにも使われうる。
  • AIはセキュリティ問題を見つけて報告するのに有用に使える可能性があるが、まだそのような良い例は見つかっていない。
  • 現在、ユーザーたちはLLMを使ってcurlのコードを分析し、その結果をセキュリティ脆弱性レポートとして提出することに熱中している。

AI製ゴミの検出

  • 報告者が英語に完全に堪能ではないため、意図をすぐに理解しにくいことがある。
  • ときには報告者が、自分の意図を表現したり翻訳したりするためにAIや他のツールの助けを借りることもある。
  • AIや類似ツールによって生成されたテキストの一部が含まれているからといって、それだけで直ちに問題になるわけではない。

展示A: コード変更の公開

  • 2023年秋、CVE-2023-38545について公開を予告した。
  • 問題が公表される前日、あるユーザーがHackeroneにレポートを提出した: Curl CVE-2023-38545 脆弱性のコード変更がインターネット上で公開された。
  • このレポートは、現実とのつながりがない新しいことを作り出すという、AI的な幻覚の匂いを感じさせた。
  • このユーザーは、この問題を見つけるためにGoogleの生成AIであるBardを使ったと述べた。

展示B: バッファオーバーフロー脆弱性

  • こちらはそれほど露骨ではなく、よりよく作られた問題だったが、それでも幻覚の域を出ていなかった。
  • 2023年12月28日の朝、あるユーザーがHackeroneにレポートを提出した: WebSocket処理におけるバッファオーバーフロー脆弱性。
  • レポートは詳細で適切な英語で書かれており、修正案まで含まれていた。
  • いくつもの質問と幻覚を経て、この問題は本物の問題ではないと分かり、その日の午後に不受理とした。

こうした報告者を禁止する

  • Hackeroneには、プロジェクトとの今後のコミュニケーションを禁止する明示的な機能がない。
  • 問題が不受理になると研究者の「評判」は下がるが、単一のプロジェクトで一度起きるだけならごく小さな変化にすぎない。

未来

  • この種のレポートは時間とともにより一般的になり、AIの兆候をよりうまく検出し、それを根拠にレポートを無視する方法を学べるようになるだろう。
  • AIが適切な作業に使われるべきことを考えると、これは残念なことでもある。
  • 実際に機能するツールが今後AIを使って登場すると確信しており、AIでセキュリティ問題を見つけること自体は必ずしも悪い考えではない。
  • ごくわずかな（知的な）人間による確認を組み合わせれば、こうしたツールの使い方と結果ははるかに良くなるだろう。

議論

  • Hacker news

クレジット

  • 画像: Haider Mahmood by Pixabay
  • AI
  • cURL and libcurl
  • hackerone
  • Security

GN⁺の意見

  • AI技術の進歩は、セキュリティ分野にも新たな課題と機会をもたらしている。AIがセキュリティ脆弱性の発見に役立つ可能性はあるものの、現時点では不正確なレポートによって開発者の時間を浪費するケースが多い。
  • セキュリティ問題を迅速に特定して解決することは、ソフトウェアの安全性を維持するうえで非常に重要である。しかし、AI生成レポートが増加するにつれ、それを効果的に管理する新しいアプローチが必要になっている。
  • この記事は、AIがセキュリティ分野でどのように誤用されうるかについての実例を示すことで、AI技術の責任ある利用と人間による監督の重要性を強調している.

関連記事

1件のコメント

 
GN⁺ 2024-01-04
Hacker Newsの意見
  • Hacker Newsコメント要約:

    • LLM（大規模言語モデル）の独特な口調についての意見:

      LLMがロボット執事のような独特の口調を持っているのは構わないが、人々がLLMのように話し始めることが心配だ。

    • LLMが生成したcurl関連のセキュリティ脆弱性レポートについての意見:

      最初は以前見た内容の重複だと思ったが、実際には別のLLMが生成した偽のレポートだと分かった。

    • LLMとバグ報奨金プログラムに対する懸念:

      LLMがバグ報奨金プログラムに提出する偽レポートのせいで、プログラム運営が難しくなる可能性がある。実在の人間とセキュリティ研究者だけが参加できるよう、プログラムをより厳格に管理する必要があるかもしれない。

    • LLMのコストに対してエンジニアリング時間が浪費されることへの懸念:

      LLMがわずかなコストで大量の価値あるエンジニアリング時間を無駄にさせることが懸念される。

    • LLMによるコンテンツ信頼性問題についての洞察:

      文章を書くという最低限の努力を証明する方法が、LLMによってさらに多くの努力を必要とするものへと変わってしまった。これはバグ報奨金プログラムやCVEプロセスに影響し、提出のハードルを上げ、結果としてより多くのセキュリティ脆弱性が発見されず修正されない可能性がある。

    • curlコードに対する技術的分析:

      curlはユーザー提供データを使わず、コンパイル時点で固定サイズを持つため、長さチェックへの不満は特に奇妙だ。また、C言語にもっと詳しい人がkeyvalローカル変数の使用目的を説明してくれないか気になる。

    • LLMのコードレビューに対する批判:

      dineshsec / dinesh_bがDanielにstrncpyの使い方を教えるのは時間の無駄であり、memcpyを使う方がstrcpyやstrncpyより優れていると主張している。LLMの推奨事項は、実際には推奨できるものではない。

    • サイバーセキュリティ分野におけるAI問題についての意見:

      つい最近までサイバーセキュリティはゴミ情報に対してある程度の免疫があったが、今ではAIが詐欺師たちに、より簡単に人を欺く手段を与えている。問題はAI自体というより倫理にあり、セキュリティレポートが「正当」に見えさえすれば通ってしまう可能性がある。