Stack Overflow、ChatGPTで生成された回答の投稿を一時的に禁止
(meta.stackoverflow.com)- スタッフが詳細を議論する前の暫定的なお知らせ
- 全体として、ChatGPTから正確な回答を得られる平均的な割合が非常に低く、サイトに害を与えている（正しい回答を探しているユーザーにとって）
- 重要な問題は、ChatGPTが生成する回答は誤答率が高い一方で、一般的にはもっともらしく見え、回答を生成するのが非常に簡単であること
- この告知以降に投稿された回答がChatGPTで生成されたものだと確認された場合、たとえ適法な投稿であっても、そのコンテンツを引き続き掲載できないよう制裁されること
2件のコメント
存在しない機能があると答えたり、動かないコードを出したりと、たしかに少し問題はありますよね。でも、本当に生成された回答だけを見ればすごく良さそうに見えるので、そこが問題……
この話を聞いて、久しぶりに Stack Overflow に行って Low-quality answers のレビューをしてみたんですが…
やたら長く書かれている回答があるものの、質問と違う部分を支離滅裂に話している妙な回答が目につきました。
まず、回答は長いことは長いのですが、Stack Overflow の一般的な回答形式は
結論（あるいは TLDR）->説明 という、かなり結論先出し型ですよね。
ChatGPT と思われる回答は、あまりにも会話調で展開されていました。
また、質問が長いせいか、質問のポイントを外しているものも見受けられました。
質問は「デュアルブートのネイティブ環境で同じ Python コードを Windows と Linux で動かしたら、Linux のほうがずっと遅い。両方とも Python 3.10.2 を使った」という感じなのに、
回答は「VM 環境では性能が異なることがあり、バージョンも Python 2.7.8+ と別なので性能が違う可能性がある……」みたいなものがありました。