HNで話題: 反射を絵に変える壁掛け型 Diffusion Mirror

 (matthieulc.com)
1 ポイント 投稿者 GN⁺ 2024-10-24 | 1件のコメント | WhatsAppで共有

  • PabloNet

  • インターネットに接続されたAIが創造的であり得るかという議論は、本質的な問題からは外れていると思う。芸術とは内面世界を明らかにするものであり、技術はその一部にすぎない。芸術にあまりにも多くの技術が必要とされるのは残念なことだ。この二つを切り離せる可能性が見えている。80億人の非芸術家たちが使う安価な補間的創造性は、新しい世界観を明らかにし得る。

  • こうした理由から、芸術の才能がない私はさまざまなAIベースの芸術形式に強い興味を持っている。数か月前から、StreamDiffusionを使ってウェブカメラのフィードをリアルタイムで拡散処理する取り組みを始めた。美しい視覚効果を生み出し、新しい感情を呼び起こしたい。しかしノートPCという形態は幻想を壊してしまう。そこで最近は、壁に掛けられるLCDフレームを制作し、幻想を壊す要素を最小限にした。このセットアップの最大の利点は、単なる画面ではなく恒久的なオブジェクトとして、新たな相互作用のチャネルを開いてくれることだ。

  • 現在のセットアップにおける主な問題はフレームレートの低さだ。TensorRTを使い、画像圧縮によって速度を上げたが、それでもなお改善の余地は大きい。

  • 興味のある人のために、制作方法と貢献方法を共有する:

    • クライアントおよびサーバーのコードを提供
    • サーバーホスティングにはRunPodを使用
    • クライアントはRaspberry Pi 5で実行
    • 10.1インチのPiディスプレイを使用
    • 赤外線照明を使用
    • 一般的なフレームを使用
    • 赤外線Piカメラを使用
    • カメラ用の穴を開けるためにパンチャーを使用（ドリルではうまくいかない）
    • さまざまな前処理フィルターを使って実験。単純なプロンプトだけでは不十分。img2imgは前処理なしだとリアルすぎて見える。この投稿で見られる青いピカソ風スタイルを得るために、Cannyエッジ検出、青色の着色、ぼかしを組み合わせて使用した。

GN⁺の要約

  • AIベースの芸術は、技術と創造性を分離することで新たな視点を提供できる可能性を示している。
  • StreamDiffusionを活用したリアルタイムのウェブカメラフィード拡散は、新しい感情と視覚体験を提供する。
  • LCDフレームを活用した設置は、単なる画面を超えて恒久的な芸術作品としての可能性を開く。
  • 低いフレームレートのような技術的問題には、なお改善の余地がある。
  • 類似の機能を持つプロジェクトとしては、DeepArt.ioやRunwayMLなどが推奨される。

関連記事

1件のコメント

 
GN⁺ 2024-10-24
Hacker Newsのコメント

  • JPEGバイトをBase64でエンコードすると、ペイロードサイズが約30%増加し、クライアントとサーバーのCPUサイクルを消費してしまう。WebSocketプロトコルはバイナリペイロードを送信できるので、テキストに変換する必要はない

    • 非可逆のJPG圧縮をやめて、ネットワーク経由で生のRGBバイトを送ることも検討できる
    • StreamDiffusionは、パイプライン内で広範なバッチ処理を行うことで高いフレームレートを実現できる。クライアントが毎回1フレームずつ送信して応答を待っているため、その利点を活かせていない
    • SDXL TurboおよびLightningモデルはimg2imgで非常に高速だが、解像度は512²または1024²ピクセルに制限される。上位コンシューマー向けGPUならリアルタイムで実行可能

  • 芸術とは内面世界を明らかにするものであり、技術はその一部にすぎない。技術的な隔たりが単なる不便さにすぎないという考えには疑問がある

    • 絵を描いたり音楽を作ったりする方法を学ぶことは、自分にある種の変化をもたらし、より深い人生の教訓を教えてくれると思う
    • 偉大な芸術作品は天才によって作られるのではなく、天才性は思いがけず訪れるものだ。技術的な隔たりを取り除くことは、そのような機会を取り除くことでもある

  • 芸術的価値については言及しないが、ツールコレクターとして興味深い点がある

    • カメラ用フレームの段ボールに穴を開けるためにパンチャーを使った。ドリルではうまくいかなかった
    • ドリルが段ボールではうまく機能しなかった件について、もっと詳しい情報や解釈を知りたい

  • カメラがフレームの中ではなく別の場所にあったら、もっと面白くなると思う。芸術的な鏡を見るのは少し退屈

    • 誰か別の家に2枚目の鏡を作り、一方の鏡のカメラ映像をもう一方の鏡に送って、お互いの「反射」を見られるようにする

  • 芸術とは感情を保存し、創造するものだとずっと考えてきた。壁のバナナも芸術だし、大衆音楽もやはり芸術だ

    • この発明品そのものは確かに芸術作品だが、その出力物はそうではないと思う。雲のようにさまざまな形を作れるが、それでも平均的なランダムさにとどまっている

  • 画像間で高フレームレートの変形効果を考えたことがあるかと尋ねる。実効フレームレートが上がり、見た目もよくなるはず

  • 現在のセットアップの主な問題はフレームレートが低いことだ。これを機能の一部と見なしており、画像を処理する時間があるのは悪くない

    • 更新頻度を5〜15分に延ばし、変化や動きが検出されるたびに新しい画像をキャプチャして生成するようにする

  • 最も電力を消費する鏡に賞を贈る。入力の小さな変化に対して絵が安定しないことに気づいた

  • いくつかの画像を固定できる方法があるかと尋ねる。いくつかの画像は保持できるとかっこいいと思う（例: プロフィール写真やロック画面の画像）