Show HN: Fill 3D - AIベースのバーチャルステージング向け3D Generative Fill

 (github.com/fill3d)
1 ポイント 投稿者 GN⁺ 2023-09-30 | 1件のコメント | WhatsAppで共有
  • Fill 3D APIを紹介するスタータープロジェクトであり、AIベースのバーチャルステージング向け3D Generative Fillの実装例
  • 実行前に.env.exampleを.env.localに変更し、fill3d.aiで生成したAPI keyをFILL3D_API_KEYに入力する必要がある
  • 依存関係のインストールと開発サーバーの起動はnpm installとnpm run devで行う
  • 開発サーバー起動後、Webページはhttp://localhost:3000で開くことができる

関連記事

1件のコメント

 
GN⁺ 2023-09-30
Hacker News のコメント

  • 技術自体は印象的だが、その可能性はかなり不気味です。
    私の住んでいる地域では、不動産「仲介業者」が物件写真をフォトショップで加工して、完全にリノベーション済みで家具までそろった家のように見せることはすでに一般的です。
    実際には家は空っぽで、状態も非常に悪いことが多いので、こうした技術があると、現地で見ない限り物件の状態を判断するのがさらに難しくなりそうです。
    もはやこうした技術が広告に使われるのを止めるのは難しく、物件情報も実質的に広告になっているので、偽の写真を不動産プラットフォームに掲載できないようにするポリシーや法律だけが唯一の解決策に見えます。
    ただ、作り手はこの技術をサブスクリプションモデルで仲介業者に売れば、大金を稼げそうです。

    • すでに販売物件を虚偽表示することに関する法律はあるようです。
      家具が含まれるかどうかは契約書に明確に記載される部分で、地域によって違うでしょうが、私の地域で最もよく見かけるのは、窓や家の裏側の写真に夕焼けを合成する程度です。
      ただ、仲介業者がカビや漏水被害のようなものを消したかどうかは、見抜きにくいかもしれません。
    • ステージングのフォトショップ加工は昔からずっとありました。

  • 例はとても良く見えます。もっと多くの画像を共有してもらえるとうれしいです。
    さまざまな部屋の種類やインテリアなど、このツールがどこまで処理できるのかを示す例がもっとあるとよさそうです。
    逆に、何ができないのかも気になります。破綻する状況があるのか知りたいです。

    • 良い提案です。明日時間を取って /gallery ページを追加してみます。
      追跡用の issue も作りました: https://github.com/fill3d/fill/issues/1
      良い first issue です :D

  • 驚きました。挿入されたオブジェクトは拡散モデル + ControlNet で生成したのではなく、テクスチャ付きの 3D モデルをレンダリングしたものなのですか？
    利用できるテクスチャ付き 3D モデルのセットが固定されているのか、それともプロンプトをもとにその場で生成されるのかも気になります。

    • その通りです。今は Blenderkit のダイアログを使っていますが、それ以外にも拡張できます。
      プロンプトを入力して検索すると、実際にはマルチモーダル検索が動いていて、例えば「red painting」を要求すると、本当に赤い絵を見つけてくれます。
      なので通常の検索より信じられないほど正確です。あらゆるところに AI が入りつつあります。

  • 私の用途なら、アパートのコーディネートになりそうです。
    ベッドとソファはすでに買った大きな空のワンルームがあり、残りの空きスペースに何を置くか決める必要があります。
    コーヒーテーブル、メディアコンソール、テレビや超短焦点プロジェクター、バー、書棚、デスクのようなものです。
    純粋なコンセプトではなく、実際に購入可能な製品で埋められるとよいです。

    • その通りで、これは実際にロードマップにある機能です。
      3D で生成するため、ユーザーが自分の 3D モデルを持ち込んでカタログに追加できます。
      Apple の Object Capture のようなもの(https://developer.apple.com/augmented-reality/object-capture...)をつなげれば、ソファをそのままスキャンして Fill 3D にアップロードし、配置してから生成することも可能です。
      今後が楽しみです。
    • まだ使ってはいませんが、数日前にこうした用途に合うサイトを見かけました: https://aihomedesign.com
      関係者ではありません。

  • 不動産会社は、家を家具なしで空けておいて、見込み客に AR ゴーグルを着けてもらい、自分の家具を置いたらどう見えるかを見せる方式を検討したことがあるのでしょうか？

    • 単にスマートフォンやタブレットをビューポートとして使ってもよさそうです。
      没入感は下がるでしょうが、導入のハードルはずっと低くなります。
    • 単一フレームをパストレーシングでレンダリングするのに 1 分以上かかるなら、この程度のリアリティは現在の AR では不可能に見えます。

  • デッキや玄関ポーチにも使えるでしょうか？
    建設会社のウェブサイト用にステージングが必要なデッキとポーチの写真があります。

  • デモを使ってみましたが、バグがあるようで、事前定義されたデータベース内の既存アイテムしか選べないように見えます。

    • どんなバグに遭遇したのか気になります。
      そしてその通りです。実際の 3D モデルを使っているので、モデルセットは固定されています。今は 300 個弱です。
      優先しているのは超リアルな結果なので、現在の最新 3D モデル拡散技術では足りません。OpenAI Point-e を参照してください: https://github.com/openai/point-e

  • Fill3D の「パストレーシングで超リアルな結果をレンダリングする」アーキテクチャと、fxn.ai の透過的デプロイ機能をあわせて見ると、本当に印象的です。
    現在のプロジェクトでどちらも使えそうなので、調べてみる予定です。

  • ビジネスモデルはどう考えていますか？
    私は小規模 MLS のシステム管理者で、どこに統合できるかを検討中です。
    ステージング 1 件あたり 2 ドルなら、おそらく Realtor に直接請求する必要がありそうです。私たちは立替請求はしていないはずです。
    ただ、Realtor 1 人あたり月に何件かのステージングを含める方式なら可能かもしれません。
    消費者が自分でステージングしてみる面白い用途も思い浮かびますが、消費者にそうしてもらうためにステージング 1 件あたり 2 ドルを払ってくれる Realtor はほとんどいないと思います。

    • これはぜひきちんと話したいです。
      大口価格なら、かなり価格を下げられます。
      最終目標は、ユーザーが御社の不動産サイトや MLS の中で直接ステージングできるようにすることです。
      yusuf@fill3d.ai までご連絡ください。

  • https://www.fill3d.ai/ にあるスクリーンキャストは何で作ったのですか？

    • https://www.screen.studio だと思います。
    • 私も気になります。
      最近同じスタイルのスクリーンキャストをよく見ますが、あまり好きではありません。
      録画領域がずっと動き続けていて、かなり気が散ります。
    • Screen Studio です。