現在のAIの限界と問題点
AIを重大な用途に使いにくい理由
- ソフトウェア工学の観点では、現在のAIシステムは複雑性と規模を効果的に管理しにくいため、信頼性に欠ける
- 影響力の大きいソフトウェアは透明性、管理可能性、説明責任を備える必要があるが、現在のAIはこれを満たしていない
- データの出所に対する責任が不十分で、AIアルゴリズムの結果に対する責任も曖昧である
- 「説明可能なAI」やバイアス緩和の試みはあったが、根本的なデータ責任の問題とエンジニアリング上の難しさは依然として解決されていない
ニューラルネットワークベースAIの動作方式
- 現在のAIは大規模ニューラルネットワーク（LLM、Generative AIなど）に基づいており、数百万個のニューロンが相互接続されている
- 学習は主に教師なし学習または自己教師あり学習の方式で行われ、人の介入は最小限に抑えられている
- システムの機能は、与えられたデータを学習して出力目標を満たすように訓練する過程で決定される
- 膨大な計算資源が必要であり、そのコストとエネルギー消費は非常に大きい
ニューラルネットワークの非構造的特性と「創発的行動」
- 現在のAIシステムは 創発的行動 を示し、個々のニューロンの数学的定義だけではシステム全体の動作を説明しにくい
- システム内部の構造は機能と意味のある関連性を持たないため、再利用やモジュール化開発が不可能である
- 中間モデルや段階的な開発方式がなく、システムの理由や論理を説明しにくい
- 「人が介在する方式」も、システムの結果を説明するうえで実質的な助けにはならない
ソフトウェア工学における構成的アプローチとAIの問題
- 構成的アプローチ（compositionality）は、個々の部品の意味と結合方法を理解することでシステム全体を説明する方式である
- 現在のAIはこのようなアプローチを支援しておらず、次のような問題を引き起こす:
- 内部構造が意味を持たないため、機能的な再利用ができない
- 段階的な開発や検証が不可能
- 明示的な知識モデルがないため、システムが「理由」を説明できない
検証の限界
- 現在のAIシステムは入力および状態空間が過度に大きく、包括的なテストが不可能である
- 確率的システムにおける正しい出力は、その入力に対する可能性を示すにすぎず、常に信頼できる結果を保証しない
- ユニットテストや統合テストのような部分的検証は不可能で、システム全体の検証しかできない
- システム全体をテストしてもカバレッジが不足し、信頼性を確保しにくい
エラーと修正の問題
- 訓練データの不足や入力データの不完全さにより、エラーが発生する可能性がある
- エラー修正のために再訓練しても、局所的な修正は不可能で、回帰テストも難しい
- 新たなエラーが導入される可能性が高く、それを発見するのも難しい
結論と提案
- 現在のAIシステムは信頼性と安全性が不足しており、重大な応用に使うには不適切である
- 現在の技術は訓練データと計算資源の増加によって限定的な改善しか見込めず、根本的な信頼性向上には至らない
- 提案:
- ニューラルネットワークと記号的AIを組み合わせたハイブリッドシステムの開発
- 明示的な知識モデルと信頼度レベルを生成する、または既存のデータ検索や証明技法と組み合わせる
- エラーを信頼性高く管理できる限定領域で利用する
- 確率的予測が適した天気予報など、特定分野で活用する
13件のコメント
要点は、現在のAIが何の演繹的な検証もなく、「昨日まで安全で、今日も安全だから、明日も安全だろう」という帰納的な検証に依存しているということです。
ブラックスワン理論のように、ある日致命的な異常現象が発生する可能性は依然として存在しており、見方によっては今の安全性は運に依存しているのです。
従来のソフトウェア工学では、このような問題について個別要素を識別・分析し、シナリオとテストを策定することで、単位ごとに演繹的に検証することが可能でしたが、AIではまだ完全には不可能ですからね。
すでにテスラの自動運転で解決している問題..
モデルはシステム検証が不可能なため、信頼性が100%に到達できないことが大きな問題のように読めますが、自動運転ではどのように解決しているのでしょうか？
TeslaがAIを本当に現実世界へ適用する見本を示しています。
何事も100%は不可能です。100%は詐欺、あるいは幻想です。
他のスタートアップと同じように、step by stepで、agileに進めています。
問題状況ではremote controlすることもでき、現在はsupervisedで回しています。
信頼度100%という数値自体が問題なのではなく、モデル構造が explainable ではないことが争点なのではありませんか?
モデルの推論結果については、現在のディープラーニング、特にニューラルネットワーク系のモデルベースは、内部構造を示すだけでは説明が難しいものが多いことが核心のように思います。
最近になってようやく、さまざまな研究や Anthropic 社などが black box を解決する方法を提示しているので、近いうちにまた解決される問題のようにも思えます。
100%であれ説明可能性であれ、それは幻想だと思います。
「中国語の部屋」論証のように重要なのは、結果としてテスラの自動運転が統計的に人間の運転より安全だということです。そして人工知能はさらに拡張し、100%に近い「ほぼ」あらゆるケースでうまく動作するようになるでしょう。
多くのグルたち（イーロン・マスク、エリック・シュミットなど）は、人工知能が説明不可能であることを分かっているからこそ、人工知能には安全策が必要だと言っているのです。
以下は Hacker News の意見にあったものです。
モデルの説明可能性を問わず、結果の正確さだけを問うのであれば、私たちはどうやって製品を信頼して使えばよいのでしょうか
かなり曖昧におっしゃっているので、よく理解できないのですが、モデル内部の動作も「説明可能であること」が、ある程度の水準の検証を可能にするうえで重要なのではないでしょうか?
kandikさんのご意見によれば、Functional Safetyの存在意義がなくなってしまいます。
人の心は説明可能でしょうか。人の心を説明できないのに、新入社員はどうやって採用しているのでしょうか。
量子力学は100%統計モデルであり、そしてそれは世界をうまく説明しています。
「信頼」というものも、技術の発展によって概念が変わりうるでしょう。
どのみち開発者の立場からすると、疲れる状況であることに変わりはありません。せっかく楽をするためにAIを使っているのに、信頼性のためにテストをどれだけ厳格にしなければならないのか分からないのですから。
製品を作るうえでは、説明可能であることが望ましいですよね。結局のところ、人は製品ではないので、ある問題においてはその人自身に責任を問えますが、製品は欠陥があれば作った人に責任を問うことになるからです。
だからこそ、テスト環境も現実に近づけて行う必要性があるわけです。原理が分からない以上、できるだけ例外的な状況が起きないように学習させる方法しかないのですから。
Hacker Newsの意見
1990年代半ばからニューラルネットワークの発展を見てきたが、各段階でニューラルネットワークが行き詰まりに達してきたと感じている。これは数学的アプローチが直感的理解を妨げるためである。LLMが意味検索を容易にした点は興味深い。
現在のAIシステムがどこまでスケールするかは予測できない。人間の脳と比べると神経接続数は非常に少ない。
LLMベースのAIはソフトウェア開発の観点から欠陥があり、重要なアプリケーションには適していない。
人間は重要な作業でもミスをし、AIシステムも同様である。
AIを積極的に使っており、個人プロジェクトで大いに助けられている。
データのスケーリングはもはや大きな見返りをもたらさない。LLMはAGIへの道ではない。
AIが知能を代表するのかをめぐる議論は多い。人間の脳も信頼できるものではなく、サイバーセキュリティにおけるLLMの適性も議論されている。