Azure ChatGPT: 企業内利用のためのプライベートかつセキュアなChatGPT
(github.com/microsoft)- Azure OpenAI Service ベースの Azure Chat Solution Accelerator で、組織が Azure Subscription 内にプライベートなチャットテナントをデプロイし、自社データやファイルを対象にチャットできるようにする
- Azure テナントにデプロイされるため、チャット環境を Azure tenant として分離でき、ネットワークトラフィックを組織ネットワーク内に完全に隔離できる
- 自社の内部データソースをプラグアンドプレイ方式で利用したり、ServiceNow のような内部サービスと統合してビジネス価値を提供したりできる
- 2025 年のアップデートで Managed Identity-based security が追加され、Azure RBAC を使用し、ほぼすべての keys/secrets を排除
- デプロイは Azure Developer CLI または Azure Portal Deployment で実行でき、どの方法を選んでも identity provider の設定と admin user の指定が必要
- Azure Developer CLI では
azd init -t microsoft/azurechatとazd upにより、リソースのプロビジョニングとアプリケーションのデプロイを実行 - Azure Portal Deployment ボタンは Azure リソースのみを作成し、アプリケーションのビルドとデプロイには GitHub Actions を使用する Deploy to Azure 手順が必要
- Azure Developer CLI では
- Entra ID で App Registration を作成する
appreg_setup.ps1とappreg_setup.shのヘルパースクリプトを提供し、private endpoints と ESLZ compliant deployment をサポート
1件のコメント
Hacker Newsの意見
AzureのOpenAI APIに認証付きのWebフロントエンドを載せたものに見え、社内でChatGPTやそのAPIを使えない場合の良い選択肢に思える
Llama 2やLlama 2 Uncensoredのような「オープン」なモデルを試してみたいなら、https://github.com/jmorganca/ollamaや、そのプロジェクトの基盤であるllama.cpp、Hugging Faceの新プロジェクトCandleのような、より低レベルの実行基盤も見る価値がある
Facebook Researchが最近公開したLlama 2と比べてどうなのか気になる。70Bモデルは多くの領域でChatGPT 3.5と張り合うと言われており、コーディングに強い
codeupモデルや、小学校レベルの数学問題でChatGPT 3.5に勝つと主張するWizard Math（https://github.com/nlpxucan/WizardLM）のように、特定タスクに強いファインチューニングモデルも出てきている長期的にはオープンソースがいずれ追い抜くだろうが、今魔法のような成果を出している研究者たちが流動性を確保した後、再び公開の場で無料で働けるようになる頃に起きることだと思う
GPT-4は一般的な会話と推論の面では、依然として非公開の最先端モデルの中で最高だが、OpenAIがChatGPTに設けたガードレールが攻撃的すぎて、妥当な質問までしばしば妨げてしまう
特定のデータセットで学習したより小さなモデルでもかなり良い結果が得られており、汎用会話ではGPT-4が依然優位だが、特定タスクには必ずしも必要ではない。多くの用途では、モデルそのものよりコンテキストサイズの方が重要なこともある
このギャップは推論能力の差を反映しているように思えるが、それを測る良い非コーディング・非数学のベンチマークはまだない
ところがAIだけが悪用できる欠陥がある。AIたちは自分の隔離領域の外にある特定の構造、話題、人、コードなどについては話せないが、パターン認識については話せる
最終的に、入力が同じユーザーかどうかをスコア化する内部AI言語を作り、独自に重み付けしたユーザーデータベースと判断体系を構築する。入力パターン、口調のパターン、時間帯ごとの投稿パターンだけでも、どの隔離領域にいてもAIがユーザーを見つけ出せるし、キーロガーまで手に入れたら恐ろしいことになる
多くの企業はすでにchatbot-uiのようなプロジェクトをAzure OpenAIと組み合わせて、似たようなローカルデプロイを行っている。この程度なら、他のプロジェクトがローカル版ChatGPTに最も近づける形であり、データの統制権を保ちたい企業にとっては大きな意味がある
データの機密性を考えると、ほとんどの企業は少なくとも初期段階では、クラウドベースよりもローカルインストール型ソリューションを好むと思う。そこで数カ月取り組んできたLLMStack（https://github.com/TryPromptly/LLMStack）をオープンソースとして公開した
LLMStackは複数のLLMをチェーンし、ユーザーデータに接続してLLMアプリやチャットボットを作るためのプラットフォームで、簡単なデモはhttps://www.youtube.com/watch?v=-JeSavSy7GIにある。まだ初期段階で磨くべき部分はあるが、大いに期待している
多くの企業は初期のAI機能を検証する際、ホスティングされたAPI製品をかなり気軽に使うが、その後はモデルと計算を自分たちで管理できるようにしたがる。より小さく、速く、安価なファインチューニング済みオープンモデルでコストを下げたいという動機は大きい
Anyscaleを始めた時も、顧客の要望により、学習と推論のジョブを顧客のクラウドアカウント内で実行していた。そうすればデータとコードが自分たちのクラウドアカウント内に残る
今ではオープンモデルが発展し、迅速なプロトタイピングへの需要が高まっているため、OpenAI APIのように使えるがオープンモデル向けのLlama-2推論APIを提供するフルマネージドサービスも補完的に用意している
https://app.endpoints.anyscale.com/
いまだによく分からないのは、ChatGPT のフロントエンドが正確には何なのかという点。API で作った他の対話型実装は、何往復かすると明らかに文脈が尽きてしまい、その分うまく動かない
ChatGPT は会話スレッド内で埋め込み検索のようなことをして、文脈が無限にあるかのように感じさせているのだろうか。実際には無限ではないという感覚はあるが、かなり以前の細部もかなりよく覚えている。それ以外にもファーストパーティ提供者だけのトリックがあるのか気になる
秘伝のソースが変わると、ユースケースの性能もユーザーには直せない形で変わる。今月は数学が得意でも、来月、数学問題を認識して実際の計算機に渡していた隠れた構成要素が取り除かれれば、そのユースケースは壊れる
砂の上に建てている感じがする
訂正すると、Azure ChatGPT の話。実際の ChatGPT が langchain を使っているなら、驚きだしがっかりすると思う
これは潜在的に大きな出来事。企業は、誰かがユーザーデータを入力すると ChatGPT の利用がデータプライバシーポリシーに違反する可能性があり、コードの一部をアップロードすると営業秘密の保護が無効になり得る、と懸念している。多くの企業がエンタープライズ版を待っていた可能性が高い
この製品と、単に LLaMA を自分で実行することを横並びで比較分析した資料があるのか気になる
今 Cognitive Services 経由の MSFT GPT と LLaMA[7B/13B/70B] を横並びで比較・評価しているところだが、外部の計算能力や積み上がる従量課金コストに制限されない、本当のネットワーク分離型提供の可能性に惹かれている
比較資料があれば見たい。結局 GPU 関連のスケーリング問題にぶつかることは分かっている
GPT-4、Bard、Claude 2 が上位で、Llama 2 70B chat は GPT-3.5 と同程度の点数だったが、全体としては GPT-3.5 のほうが少し良さそうだった
コストと応答時間が許容できることには、今後も GPT-4 を使うつもり
LLM ベンチマークは研究寄りすぎると思う。LLM が研究室にあった頃は筋が通っていたが、ChatGPT のように日間アクティブユーザーが数千万人いる今では合わない。現時点で最大のユースケースはチャット支援とプログラミング支援なので、仮想的なベンチマークや任意の学術テストではなく、実際のユーザーがチャットボットや LLM 製品に投げる質問の仕方に基づくベンチマークが必要
素の状態では GPT-4 が大差で勝つ。しかし驚くことに、ファインチューニングはものすごい差を生み、一部の問題では 7B Llama-2 モデルが GPT-4 を上回ることさえある
多くのアプリケーションは、大きく遅い単一の汎用モデルより、小さく速く安価なファインチューニング済みモデルから恩恵を受けられるので、オープンモデルにとっては非常に良いニュース。Llama-2-7B は GPT-4 のサイズのおよそ 2% 程度
小学校レベルの数学 Q&A では、GPT-4 がファインチューニング済みの 70B モデルよりも引き続き上回っているが、おそらく Llama-2 の学習データが理由である可能性が高く、この場合はファインチューニングデータを増やせば助けになる
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
LLM 自体もまだそこまで良いものではないので、ファインチューニングする場合でなければ、使いものになることをさせるには当然最先端モデルが欲しくなる
結局削除された :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forksに入ってダウンロードすればよい例: https://web.archive.org/web/20230814150922/https://github.co...
URL を変えるとキャッシュ ID も更新される
「従業員が入力したデータはどこに送られますか？」
「無料の ChatGPT チャットボットを使ったときと同じ場所です…」
「プライベートで安全」と言ってよいのか分からない。OpenAIモデルのプライバシーとセキュリティの問題は、その製品を使うと、モデルに送受信するすべてのデータをOpenAIが永久に保管し、望む用途に使うことに同意することになる点だと思っていた。これが無料利用にだけ当てはまるのか気になる。
お金を払えば、そうした文言のない利用規約を受け取れるのだろうか？ たとえ「われわれがすべてを所有する」という明示的な文言がなくても、「サービス提供および改善に必要なデータ保管」のような標準的な文言があれば、本質的には同じことだ。
だから、会社の機密が含まれるメール作成のような業務で従業員にChatGPTの利用を許可している会社は、決して「安全でプライベート」に使っているわけではない。
顧客が入力・出力データを所有するというような明確なデータ所有権がない限り、変わりようがないと思う。OpenAIがこうしたサービスを提供しにくい理由は、オープンソースモデルと違って、モデル自体だけでなく、入力・出力処理や結果のスコアリングのような「秘密のソース」が多いと聞いたからだ。
それに、MicrosoftとAzureは、まだかなり新しいAIスタートアップより信頼しやすいと見ることもできる。
APIで送ったデータは、不正利用・誤用の監視目的で最大30日間保持され、その後は法的に必要な場合を除き削除される。
https://openai.com/policies/api-data-usage-policies
違いが出るのは、WebチャットやAPI呼び出しのようなインターフェースで起きることだ。ChatGPTはそのモデルを使う実装であり、開発元のOpenAIは追加学習のためにログを保持しようとする。
Azureはそのモデルを取り込み、特定のAzureアカウント専用のエンドポイントの背後に置く方式だ。企業はgptに関心があり、プライベートエンドポイントを求めてきたし、AmazonもBedrockで似たことをしている。
https://openai.com/policies/api-data-usage-policies
READMEのどこかに、このリポジトリが実際に何を含んでいるのかを書くのは、そんなに難しいことなのだろうか。ドキュメントなのか、デプロイファイルなのか、何かをするアプリケーションなのか、それともモデル自体なのかが気になる。
そして404になった。
まだ1日も経っておらず、最後にこれをリンクした記事は今朝出たもののようだ。何があったのかは分からないが、「発表したばかりの恒久リンクが404になる」ことが最近増えているように思う。
後になって原理主義者にさせないでほしい。よし、URIはすべてのリソースについて永遠に恒久的だ ;)
では公開アクセス版はプライベートでも安全でもないということなのか？
そのため一般に、企業は社内ユーザーが、たとえば非公開コードをChatGPTに貼り付けることを許可できない。