Gemini Pro 1.5を1週間使った感想 - 本当に素晴らしい

• Googleの新しい非公開ベータLLMであるGemini Pro 1.5は、以前のモデルよりはるかに改善された性能を示している
• Gemini 1.5 Proは
  • 小説全体を読み、途中に隠された場面について詳しく説明する
  • コードベース全体を読み、新機能を追加すべき場所とサンプルコードを提案する
  • Readwiseでの読書ハイライトをすべて読み、エッセイ作成のためのハイライトを選ぶ
• 1回のプロンプトで最大100万トークンを処理できる
  • 他のモデルと比較すると、Gemini Pro 1.5のコンテキストウィンドウははるかに大きい（GPT-4 Turboは128000で、約8倍に達する）
  • 大きなコンテキストウィンドウを使っても、大規模なプロンプトを非常にうまく処理する
  • 他のモデルはプロンプトサイズが大きくなるほど性能が低下する一方で、Geminiにはそのような問題がない
• 注意事項
  • Gemini Pro 1.5はまだ非公開ベータであり、公開時には性能が変わる可能性がある
  • Gemini Pro 1.5は処理速度が遅く、特に大規模なリクエストではその傾向が強い
  • OpenAIには追いつくべき点があり、情報検索機能は依然として重要である

[dahada]

小説を貼り付けて対話してみたが、少しでも性的な表現があると処理を拒否する。フィルタレベルを下げても、依然として受け付けない小説がある。拡張性よりも安全性を選んだようだ。

[ajh508]

これまで何かが出るたびに大騒ぎしてきたけど、OpenAIを超えるものは一つもなかった気がします。
個人的には、すべてのバックボーンをMambaに置き換えたLLMが早く出てほしいですね

[xguru]

Hacker Newsの意見

• AIに本全体のテキストを食わせるというアイデアが気に入っている。小説を読んでいて登場人物を思い出せないことがよくあるので、eリーダーで名前をハイライトしたら、『ニューロマンサー』の85ページを読んでいることを理解し、ネタバレなしで答えてくれるといい。また、問題を解いていて行き詰まったときに、良い勉強パートナーのように助けやヒントをくれる教科書があればいいのにと思う。
• Googleのアイデンティティ政治のせいで、本の事実を改変しないと本当に確信できるのか？ 問題のある本を渡したら内容を調整するのか？ そういう理由で、私にとっては完全に役に立たない。
• こうしたテーマについて、読みたいと思える正確な例とバランス、注意点を示し、自分の利害関係（例: 「LlamaIndex」の投資家であること）を開示している記事。
• RAGを捨てずにこれと組み合わせて巨大なコンテキストウィンドウを使うとどうなるのかが、いちばん楽しみだ。本全体をパースして関連部分を特定し、本全体をコンテキストウィンドウに入れられるなら、参考図書館全体の関連部分もコンテキストウィンドウに入れられるという意味であり、これは非常に有望だ。
• すでに何人かが数日間アクセスしてみた結果、これは単に長さの問題ではなく、活用という面で真のコンテキストウィンドウの進歩だ。他のモデルよりはるかにうまく活用している。どうやってそれが可能なのか共有していないのが残念だ。
• そうするとコストがとんでもなく高くならないか？ gpt-4に最大まで食わせると、すでに1回のやり取りで$1.28かかる！ Geminiはそれよりずっと安いのか？
• NSAは、この技術が開く可能性に手をこすっているだろう。彼らが長年せっせと保存してきたデータを照会するのに使えるはずだ。
• コードベース全体を読んで、新機能を追加すべき場所を提案し、サンプルコードまで示してくれる。これが、ドラムマシンの発明がドラマーを消し去らなかったように、馬車をなくした自動車の発明のようなものにならないことを願う。
• こうしたモデルは公開されるとしばしば違うふうに（しかも悪く）振る舞うし、GeminiがGoogle規模で動くときにどうなるのかも分からない。GoogleがChatGPTの評判が徐々に落ちていることから学び、モデルが最高性能を維持できる方法を見つけてくれることを心から願う。アクセスを制限するにせよ、価格を上げるにせよ、あるいはその両方にせよ、公開時にもこのモデルで高品質な体験をしたい。