iPadOS 17でGame Boy Cameraを使ってFaceTime通話する

 (macstories.net)
1 ポイント 投稿者 GN⁺ 2023-09-10 | 1件のコメント | WhatsAppで共有
  • iPadOS 17の**UVC(USB Video Class)**サポートにより、iPadがUSB-C接続の外部ウェブカメラ、カメラ、ビデオキャプチャカードをそのまま映像入力デバイスとして認識できるようになった
  • 対応デバイスを接続すると、FaceTimeと新しいAPI対応アプリがこれをデフォルトのビデオソースに自動で切り替え、個別設定やウェブカメラ選択メニューはない
  • NZXTのキャプチャカード、Elgato Cam Link、Analogue Pocket dockの組み合わせを使えば、Nintendo SwitchやSteam Deckだけでなく、Game Boy Cameraの映像もiPad Proに入力できる
  • Game Boy Cameraの実験では、Analogue Pocketの1080p HDMI出力とElgato Cam Linkの組み合わせがFaceTimeで動作し、音声はAirPods Proで補った
  • 低い画質のため顔の識別は難しかったが、FaceTimeの**リアクション(reactions)**機能は手ぶりを認識して動作し、iPadOS 17の外部映像入力サポートの範囲が予想以上に広いことを示した

iPadOS 17のUVCサポート

  • iPadOS 17は**UVC(USB Video Class)**デバイスのサポートを導入し、iPadがUSB-Cで接続された外部映像デバイスを認識できるようにした
  • 外部ウェブカメラ、カメラ、ビデオキャプチャカード、その他のUSB映像デバイスをiPadで活用できる
  • iPad Proに対応カメラを接続すると、FaceTimeとiPadOS 17の新しいAPI対応アプリがそれをデフォルトのビデオソースとして使用する
    • 個別設定は不要
    • ウェブカメラを選ぶメニューも提供されない

Studio Displayと疑似クラムシェル使用

  • Apple Studio DisplayをiPad Proに接続すると、Studio Displayの内蔵ウェブカメラをFaceTime通話に使える
  • この機能は、iPad ProをMagic Keyboardのカバーを閉じたまま机の下に置く疑似クラムシェルモードと相性がよい
    • iPad本体のカメラを使えなくても、接続されたStudio DisplayのウェブカメラでFaceTime通話が可能

ゲームキャプチャカードでiPad Proを外部画面のように使う

  • UVCサポートのおかげで、ゲームキャプチャカードやUSB映像入力アクセサリをiPadOSで活用できる
  • Nintendo SwitchとSteam Deckの画面をiPad ProのRetina Displayで見るために、外部ゲームキャプチャカードを使用する
  • iPadで接続されたUVCデバイスの映像を読み取るには別途アプリが必要
    • Jingcheng TangのCapture Pro: UVC Viewerは、iPadOS 17 APIで外部映像ソースを表示・キャプチャする
    • このアプリは現在ベータ版

Game Boy CameraをFaceTimeウェブカメラとして接続

  • FaceTimeはStudio Displayのウェブカメラだけでなく、ほかのUVCデバイス入力もビデオソースとして使える
  • Steam Deckをキャプチャカードに接続してiPad ProでFaceTimeを開くと、Elden Ringの映像がFaceTimeに表示された
  • Game Boy Cameraの実験は次のデバイス構成で行われた
    • Analogue Pocket: 元のGame Boyカートリッジを動かせる最新のGame Boy系デバイス
    • Analogue Pocket dock: PocketのGame Boyグラフィックアップスケーリングモードを大画面に出力
    • Game Boy Camera: 1990年代後半にNintendoが作ったカメラ
  • 最初はNZXTのキャプチャカードではPocketの映像をFaceTimeに渡せなかったが、Elgato Cam Linkドングルを使うとiPad Proですぐに動作した
  • PocketはHDMIで1080p映像信号を出力し、FaceTimeアプリは720p映像ソースよりこの信号を好むように見えた
  • Game Boy Cameraの画質のため顔はほとんど判別できなかったが、それ自体が実験の目的だった
  • 音声はAirPods Proで処理し、映像の低品質とは別に通話を進めた

FaceTimeのビデオエフェクトとリアクション機能

  • キャプチャカードがFaceTimeに映像を供給している間も、Control Centerではビデオエフェクトが有効になっていた
  • Portrait、Center Stage、Studio LightはGame Boy Cameraの映像では動作しない
  • FaceTimeの**リアクション(reactions)**機能は正常に動作する
    • 特定の手ぶりを認識して、風船やハートのような3Dアニメーションを表示する
    • Game Boy Cameraの前で位置を合わせてピースサインをすると、相手のiPhoneのFaceTimeに風船が表示された
  • 一般ユーザーが頻繁に必要とするケースではないかもしれないが、iPad ProがGame Boy Cameraをウェブカメラのように受け取り、FaceTimeで使えることを示している

関連記事

1件のコメント

 
GN⁺ 2023-09-10
Hacker Newsのコメント

  • レトロ好きの変人たちを代表して感謝します。「これは何の意味もないし、普通の人が使うこともない」ように見えるけれど、幸いここは普通の人™向けのサイトではありません。
    誰かがこういうフィルターを作ってくれたらいいのに……もうありました: https://play.google.com/store/apps/details?id=com.bufolab.ca...

    • iOS向けにはIconfactoryのBitCamがあります: https://apps.apple.com/us/app/bitcam/id1114990619
      厳密にはGame Boyではありませんが、似た雰囲気です。
    • こうしたフィルターを提供するオンラインツールもあります: http://patorjk.com/old-school-gaming-filters/
      Game Boy Cameraフィルターと、いくつかの他のレトロフィルターが入っています。
    • S23 Ultraとは互換性がないと表示されるのですが、少し不思議です。

  • 私も似たことを、もう少し安い方法でやっています。中古のSNES、Super Game Boy、Game Boy CameraをeBayでうまく探し、多少の清掃や修理をいとわなければ、手頃な価格で入手できます。
    アナログノイズを許容できるなら、Amazonで10ドル以下の安価なコンポジット→USB ADCでキャプチャできます。別件でGame Boy Cameraで写真も撮っていますが、EpilogueのOperatorというUSBカートリッジダンプ機はGame Boy Cameraを標準サポートしていて、カートリッジ内の写真をピクセルそのままのPNGとして取り出せます。2ビットディザリングが本当に良いです。

    • 自分で配線してやるのも、ものすごく大変というほどではありません。パンデミック初期に家に閉じ込められて息が詰まっていた頃、https://github.com/Dhole/gb-link-stm32f411 へのリンクがあるブログ記事を見て、そのコードを動かすためのボードを買いました。
      生データをPNGとして保存する方法が見つからなかったので、自分で変換スクリプトを書きました。今ならOperatorがあるのでそれを使いますが、なければマイクロコントローラー経由でも可能です。

  • 実際のプロトコル変換ではなく、既製の機器とキャプチャカードを使っているだけなので、少しがっかりです。

    • プロトコル変換はAnalogue側がすでにやっていて、かなり印象的な既製品を作っています。筆者も以前に称賛していた製品です。
      ここでさらに印象的なのは、iPadOS 17のアクセサリ対応の改善であり、ドングル万歳ということです。
    • 特に大したことには見えません。AppleがUSBビデオデバイス対応を追加し、USBビデオデバイスをiPadに挿したら意図どおり動作した、というだけです。
      PCに挿してDiscordなどで動くのを見て驚くのと、大きくは変わりません。

  • 「2023年にGame Boy Cameraの前でジェスチャーをしていた……このばかげたことができるなら、iPadも良くなるのかもしれない」というくだりで、読者としては思わず目を丸くしてしまいます。
    こういう大げさな文体や奇妙なブランド部族主義はあまり好きではありません。underlying conceptや実装の詳細に熱狂するのはよいのですが、ブランドに熱狂するのは別です。これはファン活動ではなく広告のように見えます。

    • 筆者はiPadのアクセサリ対応を正当に批判しており、思いがけないところに励みになる兆しを見つけたのです。そこまで刺々しく見る必要はありません。
    • 人々が何かに情熱を持てるようにしておけばよいと思います。このコメント欄には冷笑や皮肉が多すぎて、気が滅入ります。
    • 記事全体は実質的に「ウェブカメラをデバイスに挿した」という話で、そこに「録画するハードウェアがとても古い！」が付いただけです。

  • ここで言う「I」は私ではなく、筆者のFederico Viticci @ MacStories（https://www.macstories.net/）です。

  • 20年ほど前にGame Boy Cameraウェブカメラを同じように作ろうと考えましたが、結局完成しませんでした。
    計画は、Game Boy CameraをSuper Game Boyに入れ、SNESをPCのビデオキャプチャカードに接続するというものでした。現代の技術で実際に実現されたのを見るのはうれしいです。

  • iPhone 15のUSB-Cが、iOS 17でもUVCカメラ対応を開放してくれることを期待しています。そうなれば、iPhoneは本格的なデジタルカメラ用の携帯モニターや簡易レコーダーとして、かなり使い物になるはずです。
    SonyのXperiaラインでは、数年前からこれが可能でした。Xperia Proは実際のHDMI入力ポートから始まり、その後USB-C経由のUVC対応へ移行しました。

  • 90年代後半にGame Boy Cameraが出たときの魔法のような感覚を、どう説明すればよいのか分かりません。
    モノクロという制限はありましたが、多くの人にとって初めてのデジタルカメラだった可能性が高いです。ソフトウェアがとても簡単にしてくれたので、ストップモーションアニメをたくさん作りましたし、LEGO同士が戦ったりアクションフィギュアが登場したりする動画も多くありました。Game Boy Printerで静止画をステッカーとして印刷できたのも素晴らしかったです。解像度もひどく、フレームレートも低かったのですが、本当に魔法のようでした。

  • Appleが標準的なビデオ形式をサポートし始めたからといって、皆が驚くべきなのかはよく分かりません。
    2023年に同じプロトコルを使う2つのデバイスが通信するのは奇妙なことでしょうか。Apple製品もGame Boy Cameraも使っていないせいか、筆者が見ている特別さがよく分かりません。

  • 面白いことは面白いです。ですが今となっては、普通のウェブカメラでも緑がかった色調、4階調グレースケール、Bayer行列ディザリングまで再現するソフトウェア・ビデオフィルターがやけに欲しくなってきました。

    • なんとなくLinuxのワンライナーでできそうな気がします。
    • OBSプラグインでよさそうだと思いました。