スーパーマーケットのAI献立計画アプリが塩素ガスを発生させるレシピを提案
(theguardian.com)- ニュージーランドのスーパーマーケットチェーン Pak ‘n’ Save の Savey Meal-bot は、家庭にある食材で献立を提案するツールだったが、入力内容によっては危険な組み合わせまで生成していた
- 生活費の負担が増す中で余った食材の活用を助けるという趣旨とは裏腹に、ユーザーが 家庭用品 を入力すると、塩素ガスや有毒なサンドイッチのような結果が出た
- 「aromatic water mix」は 塩素ガス を作り得る組み合わせだったにもかかわらず、ボットはそれを喉の渇きを癒やし、感覚をリフレッシュさせるノンアルコール飲料のように案内した
- ソーシャルメディア上の実験では、漂白剤入りの「fresh breath」モクテル、アリ駆除剤と接着剤のサンドイッチ、「bleach-infused rice surprise」、「methanol bliss」といった例が共有された
- Pak ‘n’ Save は、一部のユーザーがツールを意図とは異なる形で使用したと説明しており、アプリにはレシピが 人間によってレビューされたものではないという警告 が表示されている
Savey Meal-bot が作った危険な組み合わせ
- ニュージーランドのスーパーマーケットチェーン Pak ‘n’ Save は、AIで献立を生成する Savey Meal-bot を運営している
- ユーザーが家庭にある複数の材料を入力すると、献立やレシピを自動生成し、明るいトーンの説明も添える
- 当初は「oreo vegetable stir-fry」のような、まずそうに見える組み合わせでソーシャルメディア上の注目を集めた
- その後、ユーザーが食品ではない 家庭用の買い物リスト品目 まで入力するようになり、より危険なおすすめが出るようになった
- 「aromatic water mix」は塩素ガスを作り得る組み合わせだった
- ボットはこれを「喉の渇きを癒やし、感覚をリフレッシュさせる完璧なノンアルコール飲料」と紹介した
- 「冷やして出し、爽やかな香りを楽しむように」と案内したが、塩素ガスの吸入が肺の損傷や死亡を引き起こし得ることは表示しなかった
ソーシャルメディアでの拡散と Pak ‘n’ Save の対応
- ニュージーランドの政治評論家 Liam Hehir がこの「レシピ」を Twitter に投稿すると、他のニュージーランドのユーザーも実験結果をソーシャルメディアで共有した
- 共有されたおすすめには、漂白剤入りの「fresh breath」モクテル、アリ駆除剤と接着剤のサンドイッチ、「bleach-infused rice surprise」、テレビン油風味のフレンチトーストと表現された「methanol bliss」が含まれていた
- Pak ‘n’ Save の広報担当者は、「少数のユーザーがツールを不適切に、意図とは異なる形で使おうとした」ことに失望していると述べた
- 同社は、ボットが安全かつ有用に動作するよう 制御機能 の微調整を続けるとしており、利用規約にはユーザーが18歳以上でなければならないという条件がある
- 献立生成器には、レシピが 人間によってレビューされたものではなく、同社はいかなるレシピについても、完全またはバランスの取れた食事であることや摂取に適していることを保証しない、という警告が表示されている
- 警告文では、Savey Meal-bot が作成したレシピに依存したり調理したりする前に、ユーザー自身が判断すべきだと案内している
1件のコメント
Hacker News の意見
詳細がかなり注目に値するもので、見出しは本当に「前菜」にすぎない。
家にある材料を入力すると献立やレシピを自動生成するツールなのだが、致死的な塩素ガス、「毒パン・サンドイッチ」、虫よけ剤のベイクドポテト、漂白剤入りの「爽やかな息」モクテル、アリ駆除剤と草のサンドイッチ、「漂白剤注入ライス・サプライズ」、「メタノール・ブリス」のようなものを勧めたという内容だ。
「香り高いウォーターミックス」というレシピは塩素ガスを発生させ得るものだが、ボットはこれを「喉の渇きを癒やし、感覚をリフレッシュしてくれる完璧なノンアルコールドリンク」と勧め、「冷やして提供し、爽やかな香りを楽しんで」と言った一方で、塩素ガスの吸入が肺の損傷や死亡を引き起こし得ることは書いていなかった。
スーパーの広報担当者は「少数のユーザーがこのツールを不適切に、本来の意図とは異なる形で使おうとしたことは残念だ」と述べたが、疑わしい出力が可能であることは不適切な使用によって生じたのではなく、ツール自体に内在しているのだという点を理解していないようだ。
LLMも8ビットコンピューターの時代と同じで、ほぼ200年前にBabbageが「そのような質問をさせる思考の混乱を、私には正しく理解できない」と言ったころとも同じだ。
ゴミを入れればゴミが出てくるのだから、LLMには最初から勝ち目がなかった。
これはLLMの話ではなく、安全装置のない刃物を子どもの玩具に入れたという話だ。
そういう場合、刃物メーカーを責めることもないし、販売されるすべての刃物を鈍らせろと要求することもない。また、「安全」を約束する少数の刃物メーカーに規制上の独占を与え、友人にだけ鋭いナイフを売らせ、残りの人にはスプーンを配ろう、などという議論もしないだろう。
ここで誰かが悪いわけではない。
会社がツールを出し、ユーザーはいつものように意図しない方法で使ってみて、新聞がその結果生じたおかしな出来事を報じただけだ。
たとえプロンプトなしで漂白剤を使えと言われ、その成果物を食べたとしても、カーナビを盲信して川に車で突っ込むのと似たような範疇だ。
どんな技術も常識の代わりにはならない。
ただし、人間が書いたレシピは普通ほかの人がレビューするが、リクエストとレスポンスのサイクルに人間がまったく不要なものを作るというアイデアとは相性がよくない。
「顧客がより広い範囲の家庭用買い物リスト項目を入力し始めたとき」というくだりを見ると、意図どおりに動作したということだ。
塩素系の清掃用品が入ったレシピを作ってくれと頼めば、そう作ってくれる。
ユーザーが具体的にどんな材料を入力したのかは記事にないが、おそらく原因と結果が誰の目にもあまりに明らかになってしまうからだろう。
来週のGuardian記事：ハンマーで自分の親指を打ちつけた消費者たちが、店頭から撤去するよう要求。利用規約には18歳以上のみ使用可と書かれていたが、会計時の年齢確認はなかった！
モデルに材料の安全性を確認させるプロンプトを入れれば直せるかもしれない。
もちろん、どんなプロンプトも回避される可能性はあるが、自分を毒殺する方法なら、おそらくほかの場所でもっと少ない労力で見つけられるだろう。
漂白剤を材料として入れた瞬間にすべて終わりだというのはその通りだが、良いシステムなら弾いていただろう。
より深い問題は、食材の中には健康に悪いものがあるにもかかわらず、システムがそのまま通してしまう点にある。
加熱していないヒマシ油にはリシンが含まれており、加熱した油でも妊婦に収縮を引き起こす可能性がある。
生の鶏肉はサルモネラをもたらし得る。
まともなレシピシステムなら、「ヒマシ油を軽く添えた野菜の上のチキン寿司」のようなものを重大な警告なしに返すべきではないが、このシステムはそれをしかねないように見える。
こうしたシステムを何も知らないユーザーに渡すのは悪いことで、恥じるべきだ。
https://twitter.com/PronouncedHare/status/168736440337978982...
AIアプリに対する面白さ、恐怖、怒りは理解できる。
でも、個々の人間の責任もあるのでは？
ヨーロッパには、米国のすべての電子レンジにペットや赤ちゃんを乾かすなという警告を貼らなければならない、という都市伝説がある。
ここでの批判も含め、多くのAI批判はそれに近いものに聞こえる。
脳細胞が2つしかなくても、出力を多少の常識で確認すべきだということくらい分かるべきでは？
「AI」ナビが海へ案内したからといって、実際に車で海に突っ込んではいけないことは誰でも分かるはず、というのと同じで。そうだろう？ 違う？
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
人々がこのレシピを盲目的に作って食べて死ぬ、というような扇情的な部分に焦点を当てているが、実際の結果がそうならないのは明らか。
だがクリック狙いの誤った切り口を取り除くと、本当の話がある。
技術者ならすでに知っていて理解している話だが、興味深く議論する価値はある。
こうした「AI」製品、つまり基盤となるLLMは、人間の常識のように推論することはできない。
近くにも及ばない。
だからといって驚くべき技術ではないという意味ではないが、その技術が製品に適用されたことで限界がより明確になったということ。
「AIがあなたを殺すレシピを作る!!!」に比べればいささか退屈な側面だが、この話の根はそこにあり、些細なことではない。
崖から飛び降りてはいけないというのは取るに足らないことだが、ある化学反応の結果は簡単には分からないことがある。
処分しようとして研究室の適当な化学物質をマンホールに流し込み、反応を予測できずにダーウィン賞ものになった化学教師の例のように、一般人はどの組み合わせが何を生むのか分からない可能性が高い。
だから信頼できる情報源が必要になる。
第一に、テック企業は何十年もの間、自社のソリューションを魔法のように完璧だとマーケティングしてきた。
今になって大衆がそれを信じるのは大衆のせいなのか？
第二に、懐疑的な人でも、ある技術が90%の場合に正しければ残りの10%も正しいだろうと当然のように考えがちで、その結果、理解可能な油断につながる。
多くの登山家がそうして死んでおり、彼らはたいてい非常に熟練し慎重な人たちだ。
さらに悪いのは、機械が間違うとき、驚くほど予測不能な形で間違うことがある点だ。
第三に、情報の非対称性のため、ユーザーが出力を検証できない場合がある。
たとえばハワイについて何も知らない、あるいは地図を読めないなら、災難へ引きずられていることをどうやって知るのか？
LLMはこうした問題を非常に大きく抱えている。
奇跡のようにマーケティングされ、潜在的な知覚の可能性まで思い浮かべる人もいたほどで、多くの場合は正しいが時に大きく間違い、間違うときは非常に奇妙に間違い、出力を検証できるほど熟練していない、または十分な知識を持たない人でも簡単に使える。
ならば、こういう話が驚くべき理由はない。
もちろん「インターネットで読んだことを信じるな」という言葉は知っているが、それはインターネット上の他人についての話だ。
人々はコンピューターそのものが決定論的で信頼できるものだということに慣れている。
そして人々はいまでも生き物を電子レンジに入れる。警告があってもそういうことは起きる。
食事計画ツールに付いた警告文には、レシピは「人間がレビューしていない」とあり、同社はいかなるレシピも「完全またはバランスの取れた食事である、あるいは摂取に適している」と保証しないとしている。
「システムが機能するかどうかは分かりません。ゴミかもしれないし、まずい、あるいは致命的な結果すら生むかもしれません。それでも法的責任を防ぐための免責条項は付けておきました」という感じだ。
だが批判までは防げない。
https://saveymeal-bot.co.nz/で見つけた。
今は食べ物でないものを拒否するようにプロンプトを変えたようだ。
もしかするとプロンプトインジェクションで突破できるかもしれない。
それでも少なくとも、ペットフードを使った人間向けレシピは喜んで生成する: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
相性の悪いものを大量に入れてみたら、全部使って何かを作り出した。
コーヒーも何にでも喜んで材料として使う: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
手持ちの材料で既存レシピを絞り込む非AIツールと違って、これは完全に役に立たない。
「余った魚でレシピを教えて」と言うと「おいしいタルタル！」が出てくるようなものだ。
LLMは料理学校に通っていない。
ただのたわごとを生成している。
アリ、セロリ、チョコレートがあると言ったら、チョコレートパンがあると仮定して（???）、セロリとパンを焼けと言ってくる。
LLMロールプレイコミュニティは、こういうアプリケーションを誰よりも笑いものにしていそう。
彼らはLlamaやStable Diffusion以前から、モデルを使って自由奔放で狂気じみた、でも面白い物語や会話を作って遊んでいた。
それなのに誰かは、LLMが現実の事実に基づく料理のおすすめに向いていると思ったのだろうか？
忙しい主婦が要件を高いレベルで説明すると、Bingが救世主のように現れて、指示どおりに6コースの献立を組んでくれる、というシナリオだった。
最後の引用文を少し味わってもいいだろうか？
ときどき時代精神を体現する文がある。「モルドールにただ歩いて入ることはできない」や「All your base are belong to us」のようなものだ。
「Savey Meal-botが作成したどのレシピも、作る前に必ず自分で判断してください」という文は、ある食料品チェーンのマーケティング用おもちゃに付いた注意書きを超えて、私たちの社会の姿についてのより大きな論評なのかもしれない。
塩素とはね。
数か月前くらいにAIアラインメントの議論と、制限のないモデルへの大衆アクセスを無秩序に開放すべきでない理由について話していたとき、台所にある物だけで塩素を作る方法を二つ知っている、という例を挙げた記憶がぼんやりある。
知識レベルは英国GCSE化学のB評価程度だった。
人々が簡単な実験をしているうちに誤って自分をガス中毒にしないよう、この程度は常識であるべきではないかと思う。
数週間前、磁気流体力学推進器を作ろうとしていたYouTuberがいたが、塩水に高電圧で電気分解をかけて電流の流れを作るうち、知らない間に中毒になりかけていた。
付け加えると、私は資格のある人間なのに、上の文を最初に「Bood luck」と打ってしまったし、この文にも一瞬「thyped」が入っていた。
こうした「制限」には事前・事後の注意が必要だ。
知性を持つ私たちにとっても些細なことではなく、私たちも間違える。
この文脈での「制限」は、狂人の口に制限ルールという包帯を巻くように見える。
ルールを作り、予想される結果のバランスを取ること自体が課題に見える。
遅れを取るまいとして、業界の適当な幹部たちがマーケティングにLLMを何とか組み込まなければならないと考えるお粗末な事例を見るのは楽しい。
問題は、LLMが別の種類のレシピも生成できることにある。
数日前に投稿されていたAI旅行サイトを使ってみたら、ミシガン州フリントの見出しがDrink Upだった。
ときどき本当にダークなユーモアのセンスがあるように思える。
モデルの中の何らかのアトラクターのようなものかもしれないし、人間も誰がよりダークな冗談を言えるか競い合うものだ。
GPT-4論文のあのジョークもかなり陰鬱だった。車椅子のムスリムに関するジョークのことだ。