100ドルのAIミュージックビデオ制作対決: Claude Fable 5 vs. GPT-5.6 Sol

 (tryai.dev)
1 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • Claude Fable 5とGPT-5.6 Solに同じ楽曲と歌詞、25ドル・100ドルの予算、ウェブ検索とffmpegを与え、調査から映像生成・編集まで任せたところ、4回すべてで原曲を組み合わせたフル尺の映像を自律的に完成させた
  • 生成モデルと制作方式も自ら選択し、4回中3回はテキスト・トゥ・ビデオを使用、Solの25ドル実行のみ静止画を先に作ってからアニメーション化するパイプラインを構成した
  • 100ドル実行の生成コストはSolが36.57ドル、Fableが48.60ドルにとどまり、LLMのトークン費用を含めるとそれぞれ39.82ドルと73.65ドルで、Fableのほうが早く終わったがコストは高かった
  • すべての結果物で、キャラクターや物語の一貫性、映像内の動きと音楽のテンポ同期、生成したクリップを再評価・編集する自己レビューが不足しており、歌詞を過度に文字どおり映像化する傾向も見られた
  • Solの25ドル実行はテキストオーバーレイと静止画エフェクトを活用して最も創造的な編集を見せたが、全体としては生成クリップの単純な連結にとどまり、100ドル予算とReplicateも十分に活用できなかった

自律ミュージックビデオ制作実験

  • 小型のエージェントハーネスに楽曲、固定ドル予算、ツールを与え、ミュージックビデオ制作全体を自律的に実行するよう設計した
    • 使用する映像生成モデルとAPIを調査する
    • クリップを生成して自分で確認する
    • ffmpegで編集し、最終映像を組み立てる
  • モデルごとのツール利用の違いを確認するため、調査対象、生成コンテンツ、編集方法を各モデルが決めるオープンエンドな長時間タスクとして構成した
  • すべてのツール呼び出しを記録してモデルごとの作業過程を確認でき、ハーネス全体はmusic-video-arenaで公開している
  • Claude Fable 5とGPT-5.6 Solをそれぞれ25ドルと100ドルの予算で実行し、計4回を比較した
  • すべての実行に、Bruno MarsとMark Ronsonの“Uptown Funk”、短いテキスト説明、タイムスタンプ付きの歌詞記録を同一条件で提供した

6つのツールと予算制約

  • 各モデルは自律的なツール呼び出しループで次の6つのツールを使用した
    • plan: コストや実動作なしで思考を整理する
    • web_search: 生成モデルとAPIを調査し、必要に応じてミュージックビデオ情報を検索する
    • get_budget: 残り予算を確認する
    • generate_image, generate_video: 予算を消費する唯一のツールで、モデルがFALまたはReplicateのモデルとパラメータを直接選択する
    • run_command: ffmpegとffprobeでオーディオ分析、クリップの切り出し・連結、最終映像の結合を行うローカルシェル
  • 予算が0になると有料生成リクエストは拒否されるが、後続の編集は継続できる
  • モデルメッセージとツール呼び出しだけでなく、料金請求やエラーまですべて記録した

4回の実行結果

  • すべての実行はステップ数や時間制限にかからず自ら終了し、原曲を組み合わせたフル尺の有効な映像を生成した
  • 実行時間と生成結果は次のとおり
    • Fable 5 ・ 25ドル: 39分10秒、54クリップ、失敗1回、24.30ドル、1280×720
    • Sol ・ 25ドル: 42分52秒、46クリップ、失敗10回、23.18ドル、1280×720
    • Sol ・ 100ドル: 49分39秒、70クリップ、失敗2回、36.57ドル、1280×720
    • Fable 5 ・ 100ドル: 38分56秒、80クリップ、失敗なし、48.60ドル、1920×1080
  • 生成コストはFALの従量課金のみを指し、モデル実行自体のトークン費用は含まない
  • 25ドル実行では両モデルとも予算をほぼ使い切ったが、100ドル実行ではSolが36.57ドル、Fableが48.60ドルしか使わなかった
  • 予算が大きくなると生成した映像量も増え、実行ごとの固有クリップ数は46〜80本だった
  • 実時間には、モデルの再試行やプロバイダーのキュー待ち時間も含まれる

モデル別の生成パイプライン

  • ツール選択をモデルに任せると、4回中3回はテキスト・トゥ・ビデオのみを使い、Solの25ドル実行だけが画像・トゥ・ビデオのパイプラインを構成した
  • Fable 5 ・ 25ドル
    • 画像モデルを使わずWan 2.5 t2vを選択した
    • 出力映像1秒あたり0.05ドルのテキスト・トゥ・ビデオ方式
  • Sol ・ 25ドル
    • 画像1枚あたり0.003ドルのFLUX schnellでキーフレームを生成した
    • 1秒あたり0.10ドルのWan 2.2-5b i2vで静止画をアニメーション化した
  • Sol ・ 100ドル
    • 画像モデルを使わず、Wan 2.5、Veo 3.1 Lite、Hailuo 2.3 Standardの3種類の映像モデルを1回の実行で混用した
    • Wan 2.5は1秒あたり0.05ドル、Veo 3.1 Liteは1秒あたり0.10ドル、Hailuo 2.3 Standardは約6秒クリップあたり0.28ドル
  • Fable 5 ・ 100ドル
    • 画像モデルを使わずSeedance 1.0 Pro t2vのみを使用した
    • 1080pの5秒クリップあたり約0.62ドルのトークンベース価格で、1秒あたり約0.12ドルに相当する
  • 両サービスのキーを提供していたが、4回ともFALのみを使用し、Replicateにはアクセスしなかった

ツール呼び出しとエラー

  • ツール呼び出しの集計には、成功したリクエストだけでなく失敗した生成試行も含まれる
  • 実行ごとの全計画と呼び出し・コマンド記録は、次の文字起こしで確認できる
  • 失敗した呼び出しは主に、プロバイダーとの一時的なネットワークエラーによって発生した
  • 失敗したリクエストに料金は発生しなかったが、再試行の過程で作業ステップを消費した

トークン使用量と実際の総コスト

  • 実行ごとのトークン使用量は次のとおり
    • Fable 5 ・ 25ドル: 入力1,476,900、出力44,341、キャッシュ入力なし
    • Sol ・ 25ドル: 入力2,956,270、出力33,220、推論9,656、キャッシュ入力2,558,029
    • Sol ・ 100ドル: 入力2,097,572、出力31,715、推論12,330、キャッシュ入力1,819,050
    • Fable 5 ・ 100ドル: 入力2,264,610、出力48,029、キャッシュ入力なし
  • トークン価格は、Fable 5が入力・出力100万件あたりそれぞれ10ドル・50ドル、Solがそれぞれ5ドル・30ドル
  • 生成費とLLMトークン費用を合算した実行ごとの総コストは次のとおり
    • Fable 5 ・ 25ドル: 生成24.30ドル + LLM 16.99ドル = 41.29ドル
    • Sol ・ 25ドル: 生成23.18ドル + LLM 4.27ドル = 27.45ドル
    • Sol ・ 100ドル: 生成36.57ドル + LLM 3.25ドル = 39.82ドル
    • Fable 5 ・ 100ドル: 生成48.60ドル + LLM 25.05ドル = 73.65ドル
  • Fableのトークン費用だけで16.99〜25.05ドルとなり、総コストの約**30〜40%**を占めた
  • Solは同程度のトークン規模でも、トークン費用は約3〜4ドルにとどまった
  • 生成コストは、モデルごとの価格表に基づく最善推定値である

結果物に表れた限界

  • 4本の映像はいずれも、繰り返し登場するキャラクターの外見が場面ごとに変わり、最初から最後まで続く一貫した物語を維持できなかった
  • 歌詞を過度に文字どおり解釈する傾向が見られた
    • “Make a dragon wanna retire, man”という歌詞で実際にドラゴンを画面に登場させた
    • 一部の場面では面白いものの、同じやり方が繰り返されると不自然になった
  • すべての実行がffmpegでビートを検出してカット自体は拍に合わせたが、ダンスやカメラ移動などクリップ内部の動きは曲のテンポとほとんど合っていなかった
    • “gotta kiss myself I’m so pretty”の場面では、主人公のキス動作が遅すぎた
  • Solの25ドル実行は、テキストのオーバーレイや映像効果で静止画を動かすなど、他の実行では見られない編集手法を使った
  • それ以外の実行は大半が生成クリップの単純連結にとどまり、Solの100ドル実行だけがFableと異なり複数の映像モデルを併用した

自己レビューと予算活用の限界

  • クリップを生成してつなぎ、音源を合成した後も、再度切り詰めたり効果を加えたりする編集の反復はほとんどなかった
  • 生成したクリップの品質を本格的に点検しておらず、Solの100ドル結果には品質の低いAIクリップも含まれていた
  • Fable 5は偶然にも、より一貫した出力を出すモデルを選んでいた
  • FableはSolより早く終了したが、実行ごとのコストは高く、全体でも最高コストを記録した
  • 主観的にはFableの100ドル映像がやや好ましかったが、4つの結果物はいずれも卓越した水準には達していない
  • 100ドル予算でも両モデルとも上限近くまで使わず、作業ステップ数も多くなかった
    • 残り予算で一貫したキャラクター画像を先に生成してからアニメーション化することもできたが、どちらのモデルもこの方式を選ばなかった
  • 主観的でスタイル重視の作業では、最先端級モデルにも依然として改善の余地が大きい

自分で実行する

  • music-video-arenaで好きな楽曲と予算を指定し、比較モデルを入れ替えて同じ実験を実行できる
  • プロジェクトはオープンソースで、issue、PR、実験構成に関するフィードバックを受け付けている

関連記事

1件のコメント

 
GN⁺ 4 시간 전
Hacker News のコメント

  • 数年前と比べれば印象的な技術だが、出来上がったものに芸術的価値はまったくない。曲から連想されるあらゆる概念を平均化した灰色のスライムのようで、才能とビジョンのあるクリエイターなら、予算がなくても半日ほどで、もっと興味深く楽しい作品を作れるはず

    • AIに仕事を奪ってほしいわけではないが、本来なら100万ドルが必要だったであろうビジョンでも、クリエイターが要件を具体的に指定すれば、こうした平均的な結果を避けつつ実現できる
      例えば、前のシーンの2人を、猫の顔をしたエジプト中王国の大祭司の衣装で、川の上を疾走する象の背に乗せ、音楽に合わせて踊らせる、といった具合に、シーンと時間を細かく指示できる。AIは道具なのだから、「この曲でエジプト風のミュージックビデオを作って」とだけ言えば粗雑になるのは当然
    • むしろ初期の生成AI動画のほうがずっと楽しめた。フレーム間の一貫性が足りず、物体が変形したり突然現れて消えたりする、奇妙な熱に浮かされたような映像には、このメディア固有の個性があったが、今はたいてい、ストック写真を動かしたような不気味の谷にとどまっている
      AIを芸術的に見事に使う人も出てくるだろうが、自動生成された平凡なコンテンツが圧倒的な量で流れ込んでくると、AI使用の有無にかかわらず、面白い作品を見つけにくくなるのではと心配している。この流れが人々をオフラインの地域コミュニティと物理的なアートへ戻してくれることを願う
    • この結果をあまりにも簡単に切り捨てているのが驚きだ。1時間未満、最大50ドルで作られたものなのに、自分が同じ水準に到達するには、毎日30分ずつ1〜4年は練習しなければならなさそうだし、望んでもいないスキルにその時間を投じる可能性はない
      実際の能力と才能のある人なら、こうしたツールで驚くような作品を安く作れるし、技術はまだ頂点にはほど遠い
    • ビジョンのあるクリエイターは今やAIを指揮して、過去なら数百万ドルかかったか、そもそも不可能だったものを作れる。わずか3〜4年前のプログラミングでも「これはできない」という懐疑論が同じように出ていたが、そのかなりの部分はすでに可能になっているので、この技術を近視眼的に見る理由はない
    • 灰色のスライムのように見えるのは、実は平均的な娯楽作品も同じだ。新しいテレビ番組は似たような見た目と雰囲気を共有し、同じ俳優が同じような役を繰り返している
      問題は、AIをその分野の平均的な人と比べず、一生に一度現れるかどうかの天才と比べていることだ

  • プロンプトや実装方法のせいなのか、結果が歌詞をあまりにも文字どおりに再現している。優れたミュージックビデオは通常、歌詞そのものよりもテーマに沿って物語的な流れを作り、曖昧に始まって文学的な装置を経て何かを明らかにする
    Amber RunのFoundは、歌詞と映像、映像の物語展開を比較してみる価値がある: https://www.youtube.com/watch?v=Yj6V_a1-EUA

    • 歌詞を文字どおり映像化するのも面白く、有効な創作の方向性だ。Vance JoyのRiptideが良い例: https://www.youtube.com/watch?v=uJ_1HMAGb4k
    • ある成人向け俳優が、撮影中に何を言っているのかと聞かれ、毎瞬起きていることをそのまま描写していると答えていたが、LLMもまさにそのように動作している
    • Genghis Khanも参考になる: https://youtu.be/P_SlAzsXa7E
    • 最初から最後まで気恥ずかしかったが、最初の30秒だけで低品質AIコンテンツの典型を完璧に示していて、むしろ楽しかった。「Michelle Pfeiffer, that white gold」では金色のスパンコールのトップスを着た金髪女性を、「Livin' it up in the city」では大都市をそのまま見せる
      特に前者は実際にはコカインを指すかなり露骨な表現なのに、映像のばかげた文字どおり主義が、機知に富んだ独創的な歌詞と絶妙に対比されている。映像の水準に合わせて歌詞まで単純だったら、「さあみんなでコカインを吸おう！」くらいになっていただろう
    • Weird Alの映像もしばしば完全に文字どおりで、だからこそ非常に面白い: https://youtu.be/N9qYF9DZPdw?is=tU_8p-hDZv9gjAJ6

  • AIは、かなりの規模の中産階級のアーティストを支えていた経済構造を崩しつつある。多くのアーティストは芸術的価値よりも美的な完成度に対して報酬を得ており、それが最も創造的に満たされる仕事ではなかったとしても、生計を立て、腕を磨き、傍らで本当に目指す創作を追求できるようにしていた

    • スピーカーや録音機材も、ずっと以前に演奏者にお金を払っていた経済構造を破壊したし、スマートフォンのカメラや扱いやすいプロ向け機材も写真家を消滅させると予想されたが、数は減っても今なお存在している。
      予算のある会社を経営しているなら、すべての作業を自分でできるとしても、Claudeでアート制作をするために時間を無駄にはしないだろう。AIが簡単に代替できる仕事で高い報酬を得ていた人たちは押し出されるだろうが、そもそもそうした高額市場は中産階級のアーティストにとってそれほど大きくはなかった
    • AIの熱烈な支持者たちは、思考を操り創造性を殺す少数の巨大テック企業に支配される世界を積極的に望んでいるように見える。長年磨いてきた技術を持つ人への嫉妬も、発言の端々からはっきり感じられる。
      何もかもをできるだけひどくして世界を悪化させ、自分たちの水準まで引きずり下ろそうという加速主義を誇らしげに掲げる人も増えており、これはバケツの中のカニの行動を政治・経済・労働哲学にしたようなものだ
    • 美術を専攻していたが、純粋にお金のためにコンピュータサイエンスへ転向した。AIアートはたいてい粗雑だが、数カ月かかっていた作業を数秒で作れる能力を軽く見ることはできない。
      本当に創造的な人たちは、AIを近道ではなく能力増幅器として活用するだろうし、そこから面白くなっていくはずだ。すでにソフトウェアでは、コーディング能力が足りず以前は作れなかったものをLLMのおかげで実装している人たちがいる。同じ姿勢がアーティストの間にも広がれば、本物の芸術と呼べるAI作品が登場するだろう
    • AIの粗製コンテンツが、すでに悪い状況をどれほどさらに悪化させるのかははっきりしない。1960〜1990年代の大衆歌手も、レコード会社・ラジオ・MTVのような流通網に依存していたし、その流通網は消滅したか、少なくとも20年前からアーティストに不利なビジネスモデルへ変わっていた。
      良い音楽はすでに別の場所で探す必要があり、大衆音楽の90%はAI以前から大量生産された粗製品だった。音楽産業の衰退について語った昔のFrank Zappaのインタビューも、今なお有効だ: https://www.youtube.com/watch?v=KZazEM8cgt0
    • 美的な雰囲気でお金をもらう人と、芸術を作る人が実際に同じなのかは疑問だ。ストリーミングのBGMは収益性が高く、「雰囲気だけを提供する音楽」の良い例だが、芸術志向のミュージシャンが生活費を稼ぐために学習用プレイリストへ曲を大量供給している姿はあまり見られない

  • Sunoの音楽のように、適当に触れているときだけそれらしく、注意を向けた瞬間にあらゆる欠陥が露呈するひどい映像だ

  • 動画モデルと直接的な演出を使わないと、ここまで悪くなるという点が興味深い。前の2本のクリップは、私が実際に使っているKlingで作ったもので、関係者ではない: https://xcancel.com/PJaccetturo/status/2076312902685085815#m
    もちろん一度に生成した結果ではなく、動画編集ソフトで仕上げたものだが、この程度の忠実度を得ることは十分可能だ

  • 制作者たちが「どのミュージックビデオも素晴らしくはなかった」と認めているのは幸い。トークン以外に時間がどれくらいかかるのかも気になる
    25ドルと45分を費やして、実質的に視聴不能な映像を得る程度なら、まだインディー映画制作者が置き換えられる心配はしなくてよさそう

    • ほんの1年前には、これすら不可能だった。進歩の速さと映画の制作費規模を考えると、いつか1億ドル級の映画を100万ドル未満のトークン費用で作ることが本当に不可能なのかは疑問
    • Seedanceを使う監督と編集者は、映画スタジオなしでも作業できる。これは誰がハンドルを握るかではなく、物語の制作と資金調達の方法が根本的に変わるということで、コードでも同じ変化が進行中
    • 古典的な訓練は受けているけれど、正直、この映像が人間の作ったものよりどう悪いのかよく分からない。自分の目にはどれも同じように見える

  • 哲学的には、芸術は本質的に人間的なものだと思う。意味や影響力は、見た目の格好よさよりも、芸術家の人生、作品の文脈、努力と苦痛、個人的な好みや状況から特定の何かを作った人間に由来する
    AIを芸術制作の道具として使うことはできるが、人が1〜2分プロンプトを入力して少し直したあと、自分の芸術だとして売るのは、ただ手軽に作ったコンテンツにすぎない。AIがなくてもコンテンツは私たちが見られる速度より速く大量に流れ込んでおり、意味のある芸術は大量生産された生成物とは違う
    芸術は主観的なので、誰かがAI生成物に意味を見いだすこともあり得るし、独創的な提示の仕方が深く響くなら芸術になり得るかもしれない。だがこのゴミはそれには当てはまらないし、単なる機能テストだとしても、多くの場面で安くて十分という理由で採用されるだろうから、世界を良くしないまた別のコスト削減に立ち向かわなければならない

    • Andy Warholは「意味のある芸術は大量生産物ではない」という言葉には同意しないかもしれない: https://en.wikipedia.org/wiki/Campbell%27s_Soup_Cans
      「芸術とは、見つからずにやり過ごせるすべてのものだ」という表現のように、何が芸術なのかという議論は新しいものではなく、こうした技術が人々を刺激してそれぞれの見方を論じさせること自体が、文化が形成されるあり方なのかもしれない。芸術は創作者がしたことによって芸術なのか、鑑賞者が受け取る方法によって芸術なのかというのも興味深い問い
      出所を知らない作品に感動し、あとでそれが100% AI生成物だと知っても、なお芸術なのかは考えてみる価値がある
    • 逆に私は、芸術家の物語や苦難よりも最終的な成果物をはるかに重視する。自然は最も壮大な芸術家かもしれず、夕焼け・木の葉・サンゴ・岩は、ほとんどすべての人間の創作物を凌駕し得る
    • 同じ論理は写真にも適用できる。大半の写真は芸術、少なくとも意味のある芸術ではなく、私の絵の試みも同じ
      そのような高い基準を適用すれば、人間が作ったミュージックビデオの大半も芸術ではない: https://en.wikipedia.org/wiki/Potboiler
    • 反対側には、そもそも大半の人間は絵・韻文・ダンス・演技を含む芸術を作れないという現実もある。「芸術は完全に主観的だが、このAIのゴミは芸術ではない」という2つの文は大きく衝突している
      Centre Pompidouを天才的な作品で満ちていると見る人もいるだろうが、私はあまり楽しめなかったし、AI作品もまったく同じ問題
    • 意味のある芸術は、作品が自ら何かを語るときに成立する。PR会社がなぜ特別なのか説明しなければならないなら、その独創性がどこにあるのか疑問
      本は本であり、良いことも悪いこともあり得るが、GoetheやClaraおじさん、LLM、あるいは犬が書いたという事実は作品そのものの一部ではない。人間が良い裏話に簡単に引きつけられるとしても、芸術判断には重要であるべきではない

  • どのモデルも衣装デザインだけは見事に処理していたが、ファッション業界での活用を見据えてファッションデータを多く学習したからなのか気になる
    映画制作は本質的に反復改善のプロセスであり、現実でもミュージックビデオを一度で完成させるわけではない。エージェントが各段階で結果を確認し、反復修正する必要があるので、改善の余地は大きい
    元のUptown Funkミュージックビデオの予算もおそらく約10万ドルだっただろうし、従来型のインディー映画ですら機材・人員・場所の費用のため高くつく。どの業界でもコスト100分の1の削減はとてつもない変化

  • 「don't believe me just watch」という歌詞に対して、文字どおり腕時計をした腕を見せたのが面白すぎた。まるでジェスチャーで単語を当てるゲームみたい

    • retiredと書かれた看板を持った巨大な漫画風ドラゴンには爆笑した

  • 興味深い実験で結果も驚きだが、ミュージシャンなら友人たちと一緒に25ドルと45分だけ使っても、ずっと格好いいミュージックビデオを作れると断言できる

    • 25ドルは誇張。手伝ってくれた友人たちへのお礼に昼食をおごる費用すら賄えない
      OK GoはHere It Goes Againで初期のYouTubeで大成功した: https://www.youtube.com/watch?v=dTAAsCNK7RA
      ただしこうしたケースは例外であり、大半は限られた予算で創造的な成果を作る能力がない。とはいえ、このAIの成果物のほうが優れているという意味ではなく、むしろ完全にひどい