Apple、指示ベース画像編集のための革新的なAIモデル「MGIE」を公開

MGIE(MLLM-Guided Image Editing)の動作原理

• MLLMを活用した命令解釈: MGIEはMLLMを使用して、ユーザーの入力から明確で簡潔な指示を導き出す。たとえば「空をもっと青くして」という入力に対して、「空の領域の彩度を20%増加させる」という指示を生成できる。
• 視覚的想像力の生成: MGIEは、望ましい編集の本質を捉える潜在表現である視覚的想像力を生成する。これはピクセルレベルの操作を導くために使われる。
• エンドツーエンドの学習方式: MGIEは、指示導出、視覚的想像力の生成、画像編集モジュールをまとめて最適化する新しいエンドツーエンド学習方式を使用する。

MGIEでできることは？

• 明確な指示ベース編集: MGIEは、編集プロセスを効果的に導く明確で簡潔な指示を生成する。
• Photoshopスタイルの修正: MGIEは、クロップ、リサイズ、回転、反転、フィルター追加などの一般的なPhotoshopスタイルの編集を実行でき、背景変更、オブジェクトの追加または削除、画像の合成といった、より複雑な編集も可能。
• 写真全体の最適化: MGIEは、明るさ、コントラスト、鮮明度、色のバランスなど写真全体の品質を最適化し、スケッチ、ペインティング、漫画効果のような芸術的エフェクトも適用できる。
• 部分編集: MGIEは、顔、目、髪、服、アクセサリーなど画像内の特定領域やオブジェクトを編集でき、それらの領域やオブジェクトの属性（形状、サイズ、色、質感、スタイル）を変更できる。

MGIEの使い方は？

• オープンソースプロジェクト: MGIEはGitHubでオープンソースプロジェクトとして提供されており、コード、データ、事前学習済みモデルを入手できる。
• デモノートブックとWebデモ: プロジェクトでは、さまざまな編集作業でMGIEを使う方法を示すデモノートブックを提供しており、Hugging Face SpacesでホストされているWebデモを通じてオンラインでMGIEを試すこともできる。
• ユーザーフレンドリーな設計: MGIEは使いやすく、柔軟にカスタマイズできるよう設計されており、ユーザーは自然言語の指示を与えて画像を編集でき、MGIEは編集後の画像とともに導き出した指示も生成する。

MGIEの重要性は？

• 指示ベース画像編集分野の革新: MGIEは、AIと人間の創造性にとって重要かつ挑戦的な課題である指示ベース画像編集の分野に革新をもたらす。
• 実用的なツール: MGIEは、ソーシャルメディア、電子商取引、教育、エンターテインメント、アートなど、個人的または業務的な目的で画像を生成・修正・最適化するのに役立つ可能性がある。
• AppleのAI研究開発力の強化: MGIEは、AppleがAI研究開発分野で成長する能力を示しており、AIが日常的な創造的作業をどのように向上させられるかを示している。

GN⁺の見解

• MGIEは自然言語の指示に基づいて画像を編集する革新的なAIモデルであり、ユーザーの創造的なアイデアを視覚的に実現するうえで大きく役立つとみられる。
• このツールは、技術的に複雑な画像編集作業を簡素化し、ユーザー体験の向上に貢献する可能性がある。
• AppleのAI研究開発分野における成長を示す事例