AR Cut & Paste - 新概念の物体写真貼り付け

(twitter.com)

7 ポイント投稿者 xguru 2020-05-05 | 1件のコメント | WhatsAppで共有

ARとMLを使って、スマホで撮影した物体写真を背景除去したうえで、カメラが見ているコンピューター画面上の文書に即座に挿入するプロトタイプ

ソースコード全体はGitHubで公開

モバイルアプリ: React Native

ローカルサーバー: モバイルアプリとPhotoshop間のインターフェース。OpenCV + Python

→ Screenpoint でスマートフォンのカメラが見ているモニター位置を把握

→ 現在の物体認識は別途BASNetサーバーを実行して接続。アプリ内でTensorFlow LiteのDeepLabを使うことも可能そう

1件のコメント

xguru 2020-05-05

スマートフォンのARとMLの性能がますます向上しているので、このようなインターフェースは今後増えていきそうですね。