Kimi K2 1Tモデルが512GB M3 Ultra 2台で動作
(twitter.com/awnihannun)- Kimi K2 1Tモデルが512GBメモリを搭載したM3 Ultraチップ2台で動作した事例
- Xの投稿で、このモデルの実行環境とハードウェア構成に言及
- 1T規模のモデルを市販のMacハードウェアで動かした点が注目される
- 高性能なApple SiliconベースのAI演算の可能性を示す事例
- 大規模言語モデルのローカル実行の限界拡張を示唆する技術的な試み
X投稿の内容
- 投稿では、Kimi K2 1Tモデルが**M3 Ultra 2台（各512GBメモリ）**で動作したと明記
- 追加の性能数値や結果についての説明はなし
- 当該ポスト以外に、追加の文脈や技術的な詳細情報は提供されていない
1件のコメント
Hacker Newsのコメント
Opus 4.5や5.2-Proほど賢いわけではないが、文章スタイルが非常に独特で、人と会話しているような率直なトーンを持っている
メールのような短文を書く用途では現存最高レベルで、会話中にミスを指摘したり、的外れなことを正したりするのをためらわない
他のモデルとはまったく違う学習をされたように感じられ、データ分析よりも編集にはるかに役立つ
そのため実際にKimiのサブスクリプション料金を払って使っている
感情知能(emotional intelligence) が優れていて、メッセージのニュアンスや意図をよく読み取り、社会的文脈まで考慮して文章を整えてくれる
Moonshotがどう学習させたのかは分からないが、この点は本当に注目に値する
EQ-benchで感情知能評価の1位を取っていたが、私の体感と完全に一致している
「再現可能な例を提示してください」といったことを言うチャットボットを見るのは新鮮な体験だ
ちなみにKagiでもKimi K2を使える
Kimi K2がこの点でどれほど正確なのか気になる
結局、モデルの本質は指示追従(instruction following) ではないかと思う
過度におべっかを使わない態度のおかげで、論理検証用として有用だ
以前のChatGPTモデルは何でも褒めていたが、Kimiは頼めば知能や祖先まで疑うほど容赦なく批判する
そのモデルもKimiのようにまったくおべっかを使わない性格だった
Apple公式リンク
ギフトカードでさらに10%割引も可能だ
RDNA対応の話は聞いたが、ハードウェア依存なのか（ConnectXやApple Thunderboltが必要なのか）、それとも一般的な10G NICでも可能なのか分からない
ただしvLLMは一般的なイーサネットベースのマルチノードクラスターもサポートしている
長いコンテキストを使うと、返答を待つのに数分かかることもある
数年以内にはもっと安くなるだろう
「動く」という言葉だけを信じてはいけないし、長いコンテキスト時の処理速度はまったく別物だ
同じ金額でクラウド利用量をはるかに多く確保できる
しかも24時間365日回すわけではないので効率が悪い
オープンソースモデルはGroqやCerebrasのような超低遅延サービスで動かしたほうがずっと楽だ
Cursorで複数のモデルを試しているが、Deepseek v3.2やKimi K2はフォーマットの問題でうまく動かず、他のモデルも抜けている
特にC++やRustのような非Web分野のベンチマークが気になる
Spark 2台とMac Studio 2台を組み合わせれば、M5 Ultra 2台に近い推論速度を出せるのではないかという疑問だ