XrayGPT: 医療ビジョン言語モデル（VLM）を用いた胸部X線画像の要約

• 胸部X線画像を自動分析する研究
• Vicuna LLMを医療データ（患者と医師の実際の対話10万件）と3万件の放射線科（Radiology）対話データをもとにファインチューニング
• 無料のテキスト放射線レポートデータセット（MIMIC-CXR と OpenI）から対話形式の簡潔な要約（約217k）を生成し、LLMの性能を向上
• Frozen Medical Visual Encoder（MedClip）を、ファインチューニング済みLLM（Vicuna）にアラインメント（Simple Linear Transformationを使用）

[cosine20]

胸部X線写真があれば、直接デモも試せますね。