Make Real - 絵を動作するソフトウェアに変える

• コラボレーションホワイトボードアプリ tldraw の開発者が公開したプロトタイプ
• ユーザーが描いたソフトウェアの画像を、AI を使って実際に動作する Tailwind CSS と JavaScript のウェブコードに変換
• OpenAI の GPT-4 Vision API を使ってベクタードローイングを視覚的に解釈し、ユーザーインターフェースを複製したり簡単なゲームを作成したりできる
• 絵と一緒に動作方法を自然言語で入力すると、それを理解して動作する
• GitHub でコードも公開（自分の OpenAI Key を入力する必要あり）

[kuroneko]

これが……できるんですね？
Vision APIが登場して何か面白いものが出てくるとは思っていましたが、驚きです。

[bigtallee]

驚きですね……

[xguru]

コード Repo : https://github.com/tldraw/draw-a-ui

[xguru]

人々が作ってみた作例

• 動くスライダーの作成 : https://twitter.com/multikev/status/1724908185361011108
• 三目並べゲーム : https://twitter.com/multikev/status/1724925816381792661
• ブロック崩し(Breakout) : https://twitter.com/andreasklinger/status/1725213534806794285
• スネークゲーム : https://twitter.com/awwstn/status/1725250076560568668
• Pong: https://twitter.com/kenschumacherr/status/1725172202830438680