ChatGPTはもう忘れよう：研究者たちがいまノートPCで小型AIを動かす理由

(nature.com)

30 ポイント投稿者 GN⁺ 2024-09-22 | 7件のコメント | WhatsAppで共有

人工知能（AI）モデルは一般にオンラインで利用されるが、複数の公開ツールがその状況を変えつつある
生物情報科学者のChris Thorpeは、AIツールである大規模言語モデル（LLM）を使って、免疫系タンパク質である主要組織適合複合体（MHC）分子のデータベース histo.fyi を読みやすい要約に変換している
ThorpeはChatGPTのようなWebベースのLLMではなく、ノートPC上でAIを動かしている

LLMの最近のトレンド

各組織は「オープンウェイト」版のLLMを作成しており、ユーザーは十分な計算能力さえあればローカルにダウンロードして実行できる
テック企業はコンシューマー向けハードウェアで動作する縮小版を開発しており、これは以前の大型モデルの性能に匹敵する

研究者がローカルモデルを使う理由

コスト削減
患者や企業の機密保護
再現性の確保
コンピューターが高速化し、モデルが効率化するにつれて、人々はますますノートPCやモバイル機器でAIを動かすようになる

最近公開された小型オープンウェイトモデルの例

Google DeepMind、Meta、Allen Institute for Artificial Intelligenceなどが、数十億個のパラメータを含むモデルを公開している
MicrosoftはPhi-1、Phi-1.5、Phi-2、Phi-3、Phi-3.5などの小型言語モデルを公開しており、このうち一部は画像も扱える
Microsoftの生成AI担当バイスプレジデントであるSébastien Bubeckは、Phi-3の性能を訓練データセットに起因すると説明している

カスタムアプリケーションの開発

研究者はこれらのツールを基盤としてカスタムアプリケーションを開発できる
中国のAlibabaはQwenというモデルを構築しており、ニューハンプシャー州の生物医学研究者はこれを科学データでファインチューニングしてTurbcat-72bを作成した

プライバシー保護

ローカルモデルのもう1つの利点はプライバシー保護である
個人を特定できる情報を商用サービスに送信することは、データ保護規制に違反する可能性がある
Hugging Faceの医療チームを率いる医師Cyril Zakkaは、ローカルモデルを使って別のモデル向けの訓練データを生成している
SpringfieldのMercy医療システムの内分泌学者Johnson Thomasは、患者のプライバシーを守るため、OpenAIのWhisperとGoogle DeepMindのGemma 2を基盤として、医師と患者の会話を文字起こしして要約するシステムを開発している
ソウルの製薬会社Portraiが開発したCELLamaは、ローカルLLMを活用して細胞の遺伝子発現やその他の特性に関する情報を要約文に圧縮しており、プライバシーを主な利点として強調している

モデルの活用

研究者は急速に変化するLLMの選択肢に直面している
Thorpeは現在ノートPCでLlamaを使っており、ローカルモデルは変更されないため、再現性の面で利点があると語っている
Thorpeは3D構造に基づいてMHC分子を整列させるコードを書いており、新しいタンパク質を設計するためにProtGPT2というオープンウェイトモデルを使っている
ただし、ローカルアプリでは不十分な場合もあり、ThorpeはコーディングのためにクラウドベースのGitHub Copilotを使っている

アプローチ方法

Ollama、GPT4All、Llamafileなどのソフトウェアを使って、ローカルでLLMを実行できる
ユーザーの好みに応じて、アプリまたはコマンドラインを選べる
MozillaのStephen Hoodは、ローカルLLMはまもなく大半のアプリケーションにとって十分に優れたものになるだろうと述べている

GN+の意見

ローカルLLMは研究者にとって非常に有用なツールになり得る。コスト削減、プライバシー保護、再現性の確保といった利点があるためだ
ただし、場合によってはクラウドベースのサービスのほうが優れた性能を提供できるため、研究者はアプリケーションの要件に応じて適切なツールを選ぶべきだ
ローカルLLMの進歩のスピードは加速しているため、研究者は新しいモデルやツールを継続的に探索し、試してみる必要がある
また、研究分野に応じてカスタムモデルを開発することも検討に値する。たとえば生物医学研究者であれば、医療データでモデルをファインチューニングして、より高い性能を得られる可能性がある
ローカルLLMはまだ初期段階にあるため、研究者は活用の過程で生じうる問題点や限界を認識しておく必要がある。たとえばモデルのバイアス、データ品質、倫理的配慮などを注意深く見ていく必要がある

7件のコメント

savvykang 2024-09-24

まだ熱く、遅く、不正確です。Natureにしては記事の質が低いですね

yangeok 2024-09-24

エッジで動かすと遅くて精度も低いのではないですか、、

kandk 2024-09-23

実際のところ、latency や privacy に課題があるドメインでもない限り、edge computing（local）を使う理由はないですよね..
すでに世の中のほぼすべてのデータを aws や google が処理しているのに、今さら privacy の話をするのは、LLM を作る技術がない会社の商売文句ということ..

lcanon 2024-09-22

Natureの記事タイトルには small が登場しますが、内容の大半は local が核心ですね。

dohyun682 2024-09-22

そのたびにChatGPTを忘れろと言うんだな……