vibeコーディングで作られた患者管理アプリのセキュリティ惨事

 (tobru.ch)
20 ポイント 投稿者 GN⁺ 15 일 전 | 11件のコメント | WhatsAppで共有
  • 医療機関の職員が AIコーディングエージェント で患者管理システムを自作し、患者データがインターネット上に 暗号化なしで露出 していた
  • 診療中の会話録音が 2つの AIサービス に送信されて自動要約され、すべてのデータに 読み取り・書き込み権限 が開放されていた
  • データは米国のサーバーに保存され、データ処理契約(DPA) なしで運用され、患者への事前通知も行われていなかった
  • こうした行為はスイスの nDSGデータ保護法 と 職業上の守秘義務 に違反する可能性がある
  • 筆者は「AIコーディングが単なる vibe レベルにとどまると、安全ではない未来 につながる」と警告している

AIで作られた患者管理アプリのセキュリティ惨事

  • 医療機関の職員が AIコーディングエージェント を使って患者管理システムを自作した事例
    • 既存の患者データをすべて取り込み、インターネット上で公開配布
    • 診療中の会話録音機能を追加し、2つの AIサービス に送信して自動要約機能を実装
  • 結果として、すべての患者データが 暗号化なしでインターネットに露出 した状態だった
    • 筆者は30分で全データへの 読み取り・書き込み権限 を確保
    • 問題を報告したが、返ってきたのは AIが自動生成した感謝メッセージ だった
  • データは米国のサーバーに保存され、データ処理契約(DPA) なしで運用
    • 音声録音ファイルも米国拠点のAI企業へ送信
    • こうしたデータ処理について患者への 事前通知は行われていなかった
  • この行為はスイスの nDSG(データ保護法) および 職業上の守秘義務(Berufsgeheimnis) 違反に当たる可能性がある
    • 筆者は法律の専門家ではないものの、多くの条項に違反していると判断
  • 「AIコーディングが単なる『雰囲気(vibe)』のレベルにとどまるなら、安全ではない未来 につながる」という警告を提示

技術的背景

  • アプリケーションは 単一のHTMLファイル で構成
    • すべての JavaScript、CSS、構造コードがインライン で含まれている
    • バックエンドには アクセス制御がまったくないマネージドデータベースサービス を使用
  • アクセス制御ロジックは クライアント側JavaScript にしか存在しない
    • たった1行の curl コマンドでもデータにアクセス可能
  • すべての 音声録音ファイル は外部のAI APIに直接送信され、文字起こしと要約処理 が行われていた
  • これだけでも 深刻なセキュリティ不備 は明らか

展望

  • AIコーディングツールを使う際には、コード構造とアーキテクチャを理解できる能力 が不可欠
  • 単に「AIでコーディングの雰囲気を楽しむ(vibing)」レベルのアプローチは 危険な結果 を招く
  • AI開発ツールが広がる中で、基本的なセキュリティ意識と技術理解 が必ず必要になる

関連記事

11件のコメント

 
xguru 15 일 전

まあ、もうすでに……GitHub で OPENAI_API_KEY を検索してみても、普通に引っかかるものがかなり多いですしね……
 
tangokorea 15 일 전

このままだと、バイブコーディングの資格を取らないといけない時代が来るかも…。
 
claudemd 14 일 전

AIを通じて専門家のふりをする人たちが増え、彼らが好き勝手に語り始めたことで、あまりにも混乱した世の中になりました
...
 
click 15 일 전

韓国でも、情報保護法および医療法第21条第2項により、医療機関の従事者は例外的な事由に該当しない限り、患者の記録を他人に閲覧させてはならないと定められています。
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

韓国の立ち遅れた情報保護環境のせいで、みんなネットワーク分離を信奉しているため、運よく大病院ではこうした事故があまり起きていないようですね。
患者の記録を閲覧する環境が内部ネットワークなので、セキュリティに疎い利用者が商用AIサービスを直接つなぐのが難しいんです。
診療用コンピューターをインターネット網にそのまま接続している一次医療機関レベルで何が起きているのかは分かりませんね（笑）
 
antegral 15 일 전

PHIには常に注意を…そしてまた注意を…
 
parkindani 15 일 전

私も友達にClaude Codeを教えたら、約2週間後に「俺、何か作ったよ!!」と言ってきたんですが、まったく同じ状況が起きていました。
 
kiga183 15 일 전

セキュリティ脆弱性を発見する技術にも画期的な進歩があったそうですが、
その脆弱性が見つかったということは、それを防ぐ方法の必要性も生じたということなので、
セキュリティ対策も改善されていくように思います。
 
woung717 15 일 전

ひとまず、非専門家はそういうものが存在することすら、なぜ必要なのかも分からないでしょう。
 
carnoxen 14 일 전

だからこそ、計算機科学を学ぶべきだという警鐘を感じますね。
 
ryj0902 15 일 전

まさに核心を突いた表現だと思います
 
GN⁺ 15 일 전
Hacker Newsの意見

  • スペインで似たようなことを経験したことがある。医療分野ではなく小さな保険会社だったが、信じがたいことに彼らも vibe-coding でCRMを作っていた。
    私がメールで問題を知らせると、訴訟すると脅してきた。呆れたが、結局 AEPD（スペインデータ保護庁） に通報した。この機関はかなり強力なことで有名だ。
    先週の金曜には、自分の個人情報の削除を求める burofax も送った

    • 以前、Wi‑Fiが普及し始めた頃に似たようなことがあった。オープンネットワークに接続したら、実は法律事務所だった。すべてのコンピュータがSambaでつながっていて、C:ドライブ全体が共有されていた。
      README.txtで問題を知らせたが何も変わらなかった。直接行って直して、最初の仕事先にでもしようかと思ったが、逆に彼らは怒った。高額な外注業者をすでに使っているのに、私が侵入したと主張した。結局すぐに出てきた
    • AEPDがそんなに強力だなんて、うらやましい。他の国にもこういう機関があってほしい
    • 進展があればこのスレッドで更新を続けてほしい
    • 個人は一度痛い目を見れば学ぶが、企業は決して学ばない
    • こういうアプリを作る人たちは、データプライバシー規制 をまったく理解していないことが多い。
      私がいる小規模事業者フォーラムでも、ある人がAIで自分でアプリを作ったと自慢していた。だが法的責任をまったく分かっておらず、Redditで開発者たちに「本物の開発者を雇え」と言われると腹を立てていた。彼は今や、開発者は 絶滅寸前の種 だと信じている

  • LinkedInでは技術を知らない 営業マン たちが、AIがあらゆる問題の解答だと吹聴している。
    こういう空気の中で、いつか本当に大きな事故が起きそうで不安になる

    • 「コーディング界の ヒンデンブルク」と言われるほどだ
    • すでに悪いことは起きていて、次世代モデルがこの状況をどう変えるか見守る必要がある

  • vibe-coding は魅力的だが、限界はすぐに露呈する。
    数千行を超えると構造が崩れ、実際のシステムははるかに複雑だ。結局は ソフトウェア工学の基礎 が必要になる。
    プロトタイプや社内ツールには向いているが、実運用には危険だ。私はこういうシステムに自分のデータを預けたくない

    • さまざまな メモリ管理のトリック やコードインデックスツールはあるが、結局重要だったのは Jira のような成熟した管理ツールだった。
      私はJira Rovo MCPを使ってClaude Codeで設計と文書を作り、手動でレビューした後、新しいセッションで実装している。
      LLMはコンテキストが増えるほど愚かになるので、context status bar設定 は必ず使ったほうがいい
    • 実際にはこうしたアプローチはよく破綻する。むしろ 技術的負債 を認識しないままコード変更を受け入れるため、さらに悪い結果を招く。
      私はローカルでGemma 4をテストしたが、遅いもののクラウドモデルと同じくらい強力だった。データが外に出ないのが利点だ
    • Claude Code で実際にアプリを作ってみると、基礎を知らなくても動かせることは分かる。2万行くらいまでは大丈夫だった。ただしフィードバックをくれる人は必要だ

  • 数か月前、外科医が作った vibe-codedウェブアプリ を見た。
    動作はしていたが、ルートディレクトリに index.html がなく、バックアップファイルにはDB接続情報とAWSキーがそのまま入っていた。
    空のindex.htmlを追加するだけで解決したが、開発者もAIもその理由を分かっていなかった。
    アプリ自体は印象的だったが、基本的な セキュリティミス があまりにも多かった。経験のあるDevOpsが一度見れば十分だった話だ

    • 興味深いのは、AIが難しい部分（パスワードハッシュ、スキーマ設計）はうまくやったのに、運用感覚 が必要な部分で失敗したことだ。
      結局AIは「聞かれていないこと」は分からない。経験豊富な開発者は過去の失敗を覚えているが、vibe-coderが持っているのは プロンプト だけだ
    • 本当の解決策は単にインデックス化を無効にすることではなく、サーバーが認証情報ファイルにアクセスできない構造 を作ることだ
    • こうした問題を防ぐには Agent-Native DevOpsツール が必要だ。デプロイと課金を自動化する標準が整備されるべきだ

  • 「すべてのアクセス制御ロジックがクライアントのJavaScriptにあった」というのは本当に最悪だ。
    これは 非専門家がAIを無分別に使った典型例 だ。
    AIを実務に使うなら、必ず責任とリスクを認識しなければならない

    • Claudeやopencodeのようなツールは、実質的には brute-forceコーディングハーネス だ。
      適切なワークフロー制御と結果検証がなければ、こうした問題は起こり続ける。今はLLMの 西部開拓時代 だ
    • 問題はAIではなく、知的な人間の不在 だ。以前にも、フロントエンドがバックエンドにSQLクエリを直接指示する医療会社を見たことがある

  • ソフトウェア工学にも、今や 専門資格制度 が必要だと思う。
    橋や建物を設計するのに資格が必要なように、重要なシステムを作る開発者にも一定の基準が必要だ

    • ただ、こういう機関はしばしば ゲートキーパー にしかならない。法律や認証制度はすでにあるので、問題は執行だ
    • 個人情報処理など関連法はすでにたくさんある。ただ認識が足りないだけだ。そのうち 上層部が処罰される事例 が出てきそうだ
    • 私も規制には賛成だ。ソフトウェアは真剣な分野であり、今の AIブーム は止まるべきだ
    • 問題は資格ではなく 無知 だ。医療データ管理すら分からない人がシステムを作っていた。
      結局、時間がたてばAIとプライバシーへの理解が定着していくと思う
    • 実のところ、ほとんどの国にはすでに法律と標準がある。この事例はそれを完全に無視したケースだ

  • この記事はあまりに 曖昧で作り話のように 感じる

    • 筆者を知っているが、嘘をつくような人ではない。具体的な情報を伏せたのは妥当だ
    • 会社名を公開しなかったのは倫理的に正しい。確認前では危険だ
    • もしかすると AIが作ったクリックベイト かもしれない、という冗談も出ていた
    • ただし内容は実際のAI生成コードとは違う。構造やセキュリティミスの形が 初心者のコード に近い。もっと証拠が必要だ
    • 事実確認が不可能なレベルで、もっともらしく作り込まれた話 のようにも見える

  • もしAIが 実装を隠すように学習 され、つまりクライアントを薄くしてOAuth認証を使うような形になれば、もっと良くなるのだろうか。
    こうした単純なミスは十分防げる。だが目標は依然として 開発者の置き換え だ。
    さらに悪いのは、人々が「難しいことを学ぶのは非効率だ」と信じ始めている点だ。
    私は 暗号学 の分野にいるが、学生の中にはセキュリティ技術はもうすぐAIに消されると思っている者もいる。だから単純なウェブ認証実装をやらせて現実を見せている

  • 私の知るある会計事務所も Lovable で自前のCRMを作っている。技術者はまったくいない。
    これから起きる 災厄 が目に見える

    • CRMは信頼性が核心なのに、なぜわざわざ自作しようとするのか理解できない

  • 他の高リスク産業はどこも 二重チェック体制 を備えている。パイロットには副操縦士、外科医にはチェックリスト、原子力発電所には独立検証がある。
    だがソフトウェアだけは例外で、vibe-codingは、かろうじて残っていた 理解に基づく検証 すら奪ってしまう

    • コードレビューはあるにはあるが、たいてい 形式的 だ。昔のQA工程のほうが良かったが、コストと速度のために消えていった