1 ポイント 投稿者 GN⁺ 2024-09-17 | 1件のコメント | WhatsAppで共有
  • Silurianは地球シミュレーション用のファウンデーションモデルを開発しており、最初の適用分野として、1日でも早い予測に大きな価値がある天気予報を選んだ
  • 従来の天気予測はおおよそ10年ごとに1日ずつ改善してきたが、近年のGPUと現代的なディープラーニングがその速度を押し上げている
  • 2022年以降、NVIDIA、Google DeepMind、Huawei、Microsoftなどでディープラーニングベースの天気予測研究が活発化しており、データ駆動型モデルが従来の大気物理シミュレーションより良い結果を出せる可能性がある
  • MicrosoftのClimaXAuroraでの経験を基に作られた**GFT(Generative Forecasting Transformer)**は、最大14日先までの世界の天気を約11kmの解像度でシミュレーションする
  • 長期的な目標は、エネルギーグリッド、農業、物流、防衛のような天候の影響を受けるインフラまでモデル化することで、現在は2024年のハリケーン進路予測を公開している

地球シミュレーションを天気予測から開始

  • SilurianはJayesh、Cris、Nikhilが作ったチームで、地球シミュレーション用のファウンデーションモデルを開発している
  • 最初の適用対象は天気予測で、最近のハリケーン予測結果はhurricanes2024.silurian.aiで見ることができる
  • 目標は、モデルを拡張し、物理的に予測可能な限界まで押し広げること
  • 長期的には、天候の影響を受けるインフラまでモデル化しようとしている
    • エネルギーグリッド
    • 農業
    • 物流
    • 防衛

ディープラーニング予報とGFTの現在の性能

  • 従来の予測システムは10年ごとに1日程度、性能が改善してきた。つまり、現在の6日予報が10年前の5日予報と同じくらい正確になる、というペースだった
  • 2022年以降、NVIDIA、Google DeepMind、Huawei、Microsoftなどで天気ディープラーニングシステムの研究が急速に増えている
  • これらのモデルには組み込まれた物理法則がほとんど、またはまったくなく、データだけで予測を学習する
  • JayeshとCrisはMicrosoftでそれぞれClimaXAuroraプロジェクトを率い、この技術の可能性を直接経験した
    • これらのファウンデーションモデルは、天気予測の標準と見なされるECMWFの予測を上回る結果を出した
    • 使用した学習データは、利用可能なデータの一部にすぎなかった
  • Silurianは今夏、独自のファウンデーションモデル**GFT(Generative Forecasting Transformer)**を構築した
    • 15億パラメータを持つフロンティアモデル
    • 世界の天気を最大14日先までシミュレーションする
    • 解像度は約11km
  • 過去の記録には極端気象データが少ないが、GFTは2024年のハリケーン進路予測で非常に良い性能を示している
  • ハリケーン予測はhurricanes2024.silurian.aiで直接確認できる
  • 可視化にはオープンソースの天気可視化ツールcambecc/earthを使用している

1件のコメント

 
GN⁺ 2024-09-17
Hacker Newsのコメント
  • 熱帯低気圧のアンサンブル予測ができるようになってうれしい

    • MLモデルとECMWFのHRESモデルを比較している点にはがっかりした
    • HRESは平均的な天気の最適推定ではなく、あり得る天気の単一の実現である
    • NeuralGCMはWeatherBenchのリーダーボードで上位にいる
    • モデルの性能をWeatherBenchで比較してほしい
  • 物理学を組み込んでいないモデルが、データだけでより良い予測をしている

    • 「言語学者を解雇するたびに性能が上がる」というNLPの格言は、物理学者にも当てはまる
  • Silurianが地球をシミュレーションする基盤モデルを構築している

    • 成功したら、次に何をシミュレーションしたいのか気になる
  • ClimaXの商業的ポテンシャルに興奮している

    • 特定の業界から商業的ポテンシャルについて連絡があったのか気になる(例: 天然資源探査)
  • 非営利団体として土地に関する類似モデルを構築している

    • land maskをland embeddingに置き換える手助けをしたい
    • これは地域効果のダウンスケーリングに大いに役立つはず
  • Googleが昨年公開したGraphCastと比べてどう違うのか気になる

  • 天気モデルはやや混乱する

    • MLの手法が物理ベースのシミュレーションより数値的に安定しているのか気になる
    • 計算要件の面でどう比較されるのか気になる
    • 以前、FORTRANからVerilogへモデルを変換した経験がある
  • 予測不可能な地震にこのアプローチを適用したことがあるのか気になる

  • このアプローチは「The Bitter Lesson」のもう一つの事例のように思える

  • 今後さらに何をシミュレーションするつもりなのか気になる

    • サンフランシスコで自然言語でオブジェクトを検索できるデモを構築した
    • Clay embeddingを使ってみたが、CLIPで微調整したOSM caption embeddingより性能が劣っていた