ChatGPTが存在すると誤認した機能を追加しました

(holovaty.com)

13 ポイント投稿者 GN⁺ 2025-07-08 | 10件のコメント | WhatsAppで共有

ChatGPTが存在しない機能を案内したことで、実際に多くのユーザーがSoundsliceにASCII Tabをアップロードした
Soundsliceの元のサービスは画像ベースの楽譜スキャンのみ対応していたが、ChatGPTの案内によってASCII Tab対応の要望が急増した
製品への誤解を減らすため、実際にASCII Tabインポーター機能を追加することになった
この事例は、AIが誤情報を広め、実際の製品方針にまで影響を与えた最初の事例と見なせる
機能追加そのものはユーザーの助けになるが、『誤情報』に製品開発が振り回される現実には複雑な感情を抱いた

背景と問題の状況

SoundsliceのSheet Music scannerは、写真から楽譜をデジタル化し、ユーザーが聴き、編集し、練習できるよう支援する
システム改善のためにエラーログを監視しているが、最近は従来の楽譜写真の代わりに、ChatGPTのチャット画面にあるASCIIタブ譜のスクリーンショットがアップロードされるケースが増えた
- ASCIIタブ譜は、ギターなどの弦楽器向けの簡略化された譜面表記方式である
もともとASCII Tab形式は、当時のSoundsliceのサービスではサポートされていない機能だった

原因の特定

なぜこれほど多くのASCIIタブ譜スクリーンショットがアップロードされるのか原因を探る中で、ChatGPTに質問して直接テストした
ChatGPTがユーザーに対し、SoundsliceサイトでASCIIタブ譜を取り込んで音源を聴けると誤って案内していることを直接確認した

機能未提供と誤解

Soundsliceは実際にはASCIIタブ譜を直接取り込む機能を提供していなかった
実際にはそのような機能が存在しないにもかかわらず、多くのユーザーがChatGPTの案内だけを信じて登録やアップロードを試みた
ChatGPTの誤った回答によって、会社のサービスに対するユーザーの期待値が誤って形成された
その結果、実際には存在しない機能に対する不満や問い合わせが継続的に発生している

意思決定と対応

この状況で会社はどう対応すべきか悩んだ
サービス上に「ChatGPTの回答は誤っている」という告知を出す方法もあったが、実際のユーザー需要が大きいと判断し、ASCIIタブ譜インポーター機能を開発した
2025年の開発予定リストでは下位にあった機能だったが、需要に合わせて迅速に導入した
製品UIの文言も、この新機能を積極的に知らせるよう変更した

製品・サービスの方向性に与えた影響

ChatGPTが誤情報を繰り返し提供したことで、実際には存在しなかった機能を製品ロードマップに追加することになった初の事例だと自評している
ユーザーにとって有用なツールを提供できた点は前向きだが、誤情報によって製品開発の方向性が揺さぶられたことには複雑な感情を抱いた

所感と悩み

AIが広めた虚偽情報が、実際の企業・製品の意思決定に影響を与える時代が到来したことを実感した
「ユーザー需要」ではなく、AIが生み出した誤った期待に対して、企業がどこまで対応すべきかという悩みが残った

10件のコメント

kandk 2025-07-21

AIに選ばれたサービスだなんて、うらやましいですねｗ

jjw951215 2025-07-08

ChatGPTはマーケティング部門だったようです。

GN⁺ 2025-07-08

Hacker Newsの意見

GPT-4をプログラミングに使うとき、最も有用な方法のひとつは、APIの使い方を<i>説明</i>する代わりに、サンプルコードと追加機能の要件だけを示して、AIに推測させることだと感じている。すると、自分では思いつかなかったより良いアプローチが出てくることもよくある。そういうときは、実際にAPIを修正してAIのコードが動くように合わせる。逆に、既存コードを見せてこれは何をするのかと尋ねたときにAIが間違えるなら、それは自分のAPIが紛らわしく設計されているサインだと受け取っている。こうすると、ニューラルネットワークの本質的な強みである正確さよりも、もっともらしい「幻覚(hallucination)」能力、つまり創造性を活用できる。GPT-4が巧妙に隠したバグを自分で捕まえるのに時間を使わなくて済むのも良い。改善できるのは非直感的なインターフェースだけだ。本質的に非効率だったり、信頼性が低かったり、組み合わせやすさが弱かったりするものはAIでは助けられない。でも、APIが推測しやすく理解しやすく改善されるだけでも大きな価値がある。ただし、すでに人気のあるAPIにはあまり通用しないという限界はある
- AIが思った以上に良いアプローチを提案してくることがある。自分の本の原稿を30回以上編集し、専門家の校正まで受けたのに、最後の段階でGrammarlyが3分の1くらいは有用な修正を提案してきた。すべての提案を反映していたら、原稿はかえって悪くなっていただろう。Grammarlyは不要な単語や受動態を見つけるのが得意だ。でも、ユーモア、文脈、意図的な反復などは理解できない。問題は、経営陣が人間を完全に外したがることだが、そうするとほぼ確実に失敗する
- ちょっとした逸話。Pythonの画像処理ライブラリにはたいてい imread() 関数があるが、自分はそれを知らずに社内ライブラリを作ったとき image_get() のような独特な名前を付けた。ChatGPTにその社内ライブラリを使った簡単なスクリプト作成を頼むと、文脈をあまり与えない場合はほぼ必ず mylib.imread() と推測してコードを書く
- このやり方は、昔のHCI（ヒューマン・コンピュータ・インタラクション）デザイン手法であるWizard of Ozに似ている。人が実際のアプリのふりをする実験で、新機能を見つけるのに効果的だ Wikiの説明
- 今朝この方法をうまく使った。AIにユニットテストコードを作れと言ったら結果はひどかった。でも、その失敗の過程で、むしろテストしようとしていたコードにバグが隠れていることを発見した
- HDD、Hallucination-Driven Development（幻覚駆動開発）というジョーク
最近自分が書いた文章に、「幻覚が時としてテスト駆動開発(TDD)のように機能することがある。大規模言語モデルが存在しないメソッドを幻覚として作り出すなら、そのメソッドは論理的に必要だからこそ現れたのかもしれず、自分で実装したほうがよい場合がある」という内容がある元文を見る。これは製品機能にも当てはまる話だ
- 私たちの多くがこの方法を実際に体験しているようだ。バイブコーダーたちの幻覚したAPI呼び出しも、本当は先に存在しているべき提案だったのかもしれない。幻覚ベース開発、いまやトレンドだ関連ツイート
この事例から間違った教訓を引き出している人が多い気がする。本当の核心は、需要があったからではなく、技術が存在しない機能を幻覚として提案したことで新機能が追加されたという点だ。生成AIが、実際には存在しない機能があると誤認させたことが主なポイントだ。今後もっと深刻な問題が起こりうるので、ChatGPTの運営側はこうしたことが繰り返されないよう気を配るべきだと思う
楽譜ツール市場はいくつもの形で分断されている。代表的なのは、伝統的な五線譜とタブ譜（ギターや類似楽器向け）への分断だ。ユーザー層、記譜法、活用される情報までまったく異なる。標準化を試みた例（MusicXMLなど）はあるが、それでも陣営間の壁は高い。ChatGPTがやったのは、タブ譜ユーザーもSoundsliceを使うだろうと推測したことだが、おそらく現時点ではそうではない。ただ、将来的にSoundsliceがタブ譜ユーザーに特別な価値を与える追加機能を提供すれば変わるかもしれない
- 自分の意見を正確に理解してくれたかは分からないが、Soundsliceは10年前からタブ譜（特にエディタやさまざまな形式のインポーターを含めて）を完全にサポートしている。今回新たに追加されたのは <i>ASCII tab</i> のサポートだ
最近LLMでコードを書くことを試してみた。ボイラープレートの構成には使える。パターン認識が得意なのも強みだ。ただ、コードを何度もあちこち修正させられることが多い。iOSアプリ全体を作らせたこともあるが、UIは自分の望む形によく変形してくれ、サンプルデータも多様に埋めてくれた。でも、コード構造の整理はひどいものだった。音声ファイルの再生時間をリスト形式で管理すべき場面で、ファイルIDと長さを辞書で対応付けようとしていた（初心者開発者向けに言うと、通常こういう情報はAudioFileというオブジェクトに持たせるのが定石だ）。LLMは古いバージョンのコードを引きずる傾向がある。今回の作業とは無関係な修正を繰り返し押し通そうとすることも多い。だんだんLLMを「教育する」のに時間をかけすぎている気がしてくる。LLMの限界を越えて過度に依存しない限り、かなり生産的ではあると思う。せめて自分が変更した内容を把握して、5日前のコード草案を基準に延々と提案し続けるのはやめてほしい。（長いプレーンテキストファイルをenum値に変える例題では、最初の2行だけ自分が直すと、すぐにパターンを学んで数十行を正しく提案する様子も見せた）
- LLMは、本当に生産的なインターンを何人も抱えて働いているような感覚だが、その限界もまた似ている
これはproduct-channel fit（製品とチャネルの適合性）と呼ぶ。新しい流入チャネルでの需要を即座に捉えた点が重要だ
- ChatGPTが実際にやったことは、自分が経験した会社の営業チームがいつもやっていたことの自動化版だ。顧客が欲しがるものについて「もうある」あるいは「次の四半期に入る」と自信満々に言い、その後でエンジニアに急いで作ってくれと伝える構図と同じだ
- solutions engineeringと関係しているのだろうか。つまり、大規模顧客向けの個別カスタマイズ、アダプター、データ処理など、カスタムソリューション支援に集中する分野という理解で合っているのか気になる
- まったく新しい市場ニーズや機会を見つける斬新な方法だ。LLMが大量のデータを見て、人間がまだ認識していないパターンを「幻覚」として示せる強みとつながっている。今回のケースのように、そのパターンが実在する証拠は、人々がChatGPTの誤情報を信じて行動した結果として現れる。つまり、幻覚→行動→実際の需要検証→供給側の機能追加という順序だ。実装コストがそれほど大きくなければ、企業にとっては悪くない対応だ
この事例で真っ先に思い浮かんだのは「AI SEO」だ。多くの人が、どうすればAIチャットボット、たとえばChatGPTのようなLLMが自分のサイトにトラフィックを送ってくれるかを研究しているだろうと思う。今後この市場には何十億ドルも流れ込む見込みだ。自分はこの分野に詳しくないが、すでに多くの人が挑戦しているはずで、将来的にはOpenAIに費用を払ってChatGPTが自社製品をより多く推薦するようにするサービスが生まれるのかも気になる
- この勝負に勝つには、ウェブサイトがLLMのトレーニングデータ内で自然に数多く言及されるよう促す必要がある。AI SEOと従来のSEOはそれほど違わない
AIが実世界に変化を与える興味深い事例だ。AGIが世界を征服するロボット軍団の話を恐れる見方もあるが、実際には市場の力こそがAIが世界を動かすより直接的な手段になると思う
B2Bスタートアップで「営業チームが書き込んだ機能は実際には存在しないのに、バックログが突然その機能の方へ急旋回する」という事例を経験したことがある人なら、AIの幻覚をきっかけに進んだ今回の変化はまったく意外ではないだろう
- 「rogue」の使い方を間違えたのでは、という冗談。「化粧品の rouge」と「規範を逸脱した rogue」の違いもリンク付きで言及
- B2B領域では、営業チームがPowerPoint資料だけ持って回り、反応が良ければ機能や時には製品全体まで裏で急ごしらえするのが標準的な慣行だ。スタートアップだけの話ではない。大企業でもよくある
- B2B(Business-to-Business)は企業向けビジネスを意味する
うちの会社でも似た問題がある。ChatGPTではなく自社AIチャットボットが、ドキュメントベースのRAGをしている中で、実在しないオプション(flag)をしょっちゅう幻覚する。そこで製品フィードバックの観点から検討している。それが必ずしもそのオプション自体を正確に必要としているわけではないが、何か直感的な機能が欠けているために、LLMがもっともらしく想像したのだと見ている

kallare 2025-07-08

幻覚主導開発…と言えばいいのでしょうか;;

opminsu 2025-07-08

ｗｗｗｗｗ

ryj0902 2025-07-08