Meta AI、動画上のすべての点（ピクセル）を追跡するモデル「CoTracker」を発表

• Meta AIが、動画内のポイント（ピクセル）を追跡するための新しいモデル「CoTracker」を発表
• CoTrackerは、ポイント間の相関関係を考慮し、動画全体にわたって複数のポイントを追跡することを目的としている
• アーキテクチャは、オプティカルフローとトラッキング分野の文献におけるアイデアを基盤としており、専用のアテンションレイヤーを備えたTransformerネットワークを使用
• スライディングウィンドウ方式を用いることで長い動画にも適用でき、他のポイント追跡手法と比べて効率的で精度が高いことが示されている
• このモデルは、特に遮蔽がある場合でも、よりクリーンで線形的な追跡を生成
• CoTrackerは、精度の面でTAPIRやMulti-Flow Trackingといった他の研究より優れた性能を示している
• ソフトウェアエンジニアにとって、動画内のポイントを追跡するための新たな強力なツールを提供し、性能と精度を向上させる重要な進展

[kuroneko]

デモがなんだかきれいですね。VRで必要なものを考えると、ビジネス的にもある程度一致する部分があるような気もしますが……

[GN⁺]

Hacker Newsの意見

• Metaの研究部門のビジネス面での方向性は明確ではなく、中核事業との関係も理解しにくいです。
• Facebookのトラッキングピクセルに関する経験が、MetaのCoTrackerモデルの成功に寄与しているように見えます。
• Metaの目標は、VRを信じられないほどリアルにし、世界をリアルタイムで理解できるAIシステムを作ることに重点を置いているようです。
• CoTrackerの論文、GitHub、デモへのリンクが提供されています。
• Googleは、Apache-2.0ライセンスのTapirという独自のポイント追跡バージョンを保有しています。
• プロダクト企業における研究の進め方は、エンジニアリング中心の企業とは異なります。
• CoTrackerと動画コーデックのモーション推定アルゴリズムとの比較は、疑問を投げかけます。
• CoTrackerのようなオープンソースAIモデルは、スタートアップにとって低マージンで競争の激しい市場につながる可能性があります。
• アンドリュー・ジッサーマン、ハートリー、フォージーという影響力のある人物たちが言及されています。
• CoTrackerには将来的にARアプリケーションがあるかもしれません。

[xguru]

メタの研究部門のビジネス面での方向性は明確ではなく、中核事業との関係も理解できません。

これが核心を突いたコメントですね。研究は良いのですが、ビジネスとのアラインメントがよく分からない部分も多いです。
まるで昔のGoogleを見ているような感じもしますが…