独自のオープンソース・チャットボットを作りたいですか？

• 人工知能（AI）はウェブを変化させ、人々の生活に影響を与えています。
• Mozillaは、透明性、プライバシー、ユーザーの主体性、公平性を含む信頼できるAIに取り組んでいます。
• 生成AIチャットボットは人気がありますが、その多くは強力なテック企業によって支配されています。
• Mozillaはオープンソースの力を信じており、少数の企業による技術支配を防ぎ、ユーザーに権限を与えることに努めています。
• Mozillaは最近、社内チャットボットのプロトタイプを構築するためのハッカソンを開催しました。
• チームはオープンソースの大規模言語モデル（LLM）を使用し、ホスティング、ランタイム環境、モデル選定、バイアス、チャットボットの知識拡張といった課題に直面しました。
• 彼らはプライバシーと制御のために、チャットボットをMozillaのクラウドインフラ上でホスティングすることを決めました。
• 彼らはLLaMAアーキテクチャベースのモデルを実行するために、オープンソースプロジェクト llama.cpp を使用しました。
• 彼らは毒性、バイアス、誤情報、危険なコンテンツについてモデルを評価し、FacebookのLLaMA 2モデルを選択しました。
• 彼らは埋め込みとベクトル検索技術を使って、Mozilla固有の社内知識を統合しました。
• 彼らはPythonとさまざまなライブラリを使って手動のソリューションを開発しました。
• チャットボット開発では、プロンプトエンジニアリングは文脈を提供し、応答を改善するうえで重要です。
• システムプロンプトとコンテキストウィンドウは、チャットボットの機能と会話の文脈にとって重要です。
• LangChainは言語モデル分野を代表するオーケストレーションツールですが、学習と利用が複雑な場合があります。
• chatbot-ui や Companion のようなオープンソースのチャットボットUIを使って、言語モデルのフロントエンドを作ることができます。
• Mozillaは、自社の価値観を反映し、組織内で安全にホスティングされるプロトタイプのチャットボットを開発しました。
• オープンソースのチャットボットはまだ発展途上であり、モデルを評価して適切な選択を行うことには困難があります。
• Mozillaは、開発者がオープンソースの機械学習エコシステムに参加し、コミュニティに貢献しやすくするよう取り組んでいます。

[GN⁺]

Hacker Newsの意見

• チャットボットは、ウェブサイトにおけるUX実践の不足を埋め合わせるものとして認識されています。
• チャットボットを煩わしいと感じ、すべてのビジネスがチャットボットを持つべきだとは考えない人もいます。
• ウェブはますます少数の企業によって支配されつつあり、可視性とコミュニケーションをめぐる争いを引き起こしています。
• ウェブサイトのUIが分かりにくかったり、重要な情報を隠していたりするときに、チャットボットが使われます。
• チャットボットの実際の目的は、ビジネスとの最初の接点として、ウェブやモバイルアプリを置き換えることです。
• 著者は実際にオープンソースのチャットボットを構築しているのではなく、オープンソースライブラリの利用を宣伝しています。
• Googleインフラ内にサーバーを設置することは、実際には個人的なものではなく、Mozillaの管理下にもありません。
• 従来の検索方法よりも、チャットボットのほうが役に立つという肯定的な体験をした人もいます。
• ベクターデータベース型チャットモデルの構築と、意味的類似性検索の拡張のためのリソースが提供されています。