OpenAI Codex Record & Replay: 作業を一度見せると再利用可能なSkillに変換

• Record & Replayは、Macでユーザーが直接行ったワークフローをCodexが観察し、再利用可能なSkillにしてくれる機能
• 繰り返し作業や、ユーザーの好みやルールが重要な作業、プロンプトで説明するより実際に見せたほうが簡単な作業に向いている
• たとえば経費処理、駐車スペース予約、イシュー作成、動画投稿、定期レポートのダウンロードといった作業を録画してSkillにできる
• 生成されたSkillはその後、新しいスレッドで再度呼び出せ、毎回変わるファイル・日付範囲・イシュー内容のような値だけ渡せばよい
• 現在はmacOSで提供されており、Computer Useが有効になっている必要がある。また初期提供地域ではEEA、英国、スイスは対象外

---

Record & Replayの目的

• ユーザーがすでに分かっている作業手順をCodexに一度実演すると、Codexがそのパターンを学習してSkillとして整理する
• このSkillには、いつ使うか、どんな入力が必要か、どの手順に従うか、結果をどう検証するかが含まれる
• 単純な自動化スクリプトというより、ユーザーの実際の作業方法や暗黙の好みをCodexが再利用可能な文脈として保持する形に近い

向いている作業

• 手順が安定しており、成功基準が明確な作業に適している
• 毎回ほぼ同じように繰り返すが、一部の入力値だけが変わる作業によく合う
• 自然言語プロンプトで長く説明しにくいUIベースの作業も、直接見せることができる
• 例:
  • 経費申請書の提出
  • 駐車スペースの予約
  • 決まった形式のイシュー作成
  • 動画投稿
  • 定期的なレポートのダウンロード

録画の開始方法

• CodexアプリでPluginsを開き、+メニューを選ぶ
• Record a skillを選ぶ
• Codexが提案したプロンプトを確認し、必要な文脈を追加して送信する
• Codexが作業録画の権限を求めたら承認する
• Macで実際のワークフローを実行する
• 作業が終わったら、メニューバー、オーバーレイ、またはCodexに完了したことを伝えて録画を停止する

録画中の動作

• 録画中、Codexはワークフローを学習するのに必要なユーザー操作とウィンドウ内容を観察する
• 録画はユーザーが自分で止めるまで続く
• そのため、録画はCodexに学習させたい作業だけに集中するのがよい
• 関係のない整理作業や後続の操作まで続けて録画すると、Skillが不要に複雑になることがある

Skillの生成と修正

• 録画を止めると、Codexがキャプチャしたワークフローを分析してSkillの下書きを作る
• Skillには利用条件、必要な入力、実行手順、結果の検証方法が整理される
• その後、CodexにSkillをさらに整えてほしいと依頼できる
• 特にファイル名の規則、デフォルトのフィールド値、選択基準のような暗黙の好みは、録画後に明示的に補うのがよい

ワークフローの再実行

• 新しいスレッドでCodexに生成済みのSkillを使うよう依頼する
• 今回の実行で変わる値だけ渡せばよい
  • アップロードするファイル
  • 作成するイシュー内容
  • レポートの日付範囲
  • 投稿先
• CodexはそのSkillを再利用可能なコンテキストとして活用し、現在の環境で使えるツールで作業を実行する
• Computer Use、ブラウザアクション、インストール済みプラグインなどを組み合わせて実行できる

より良い録画のためのヒント

• 実演は短く、完結した形に保つのがよい
• 録画前に目標と毎回変わりうる入力値をCodexに伝えておくのがよい
• 実際に近い入力値を使いつつ、秘密情報や機密データは避けるべき
• 録画後にSkillを調整しながら、命名規則、デフォルト値、判断基準のような暗黙の好みを追加するのがよい
• ワークフローが終わったらすぐに録画を止め、関係のない整理作業まで含めないのがよい

別途Pluginを作るべき場合

• Record & ReplayはすばやくSkillを作るための方法
• チーム全体に安定して配布すべきパッケージなら、別途Pluginとして作るほうが適している
• 複数のSkillをまとめたり、アプリ統合を含めたり、MCPサーバーを追加したり、インストール用メタデータを管理したりする必要があるなら、Pluginとしてパッケージ化するのがよい

トラブルシューティング

• Record & Replayが表示されない場合は、組織のrequirements.toml設定を確認する必要がある
• [features].computer_useでcomputer_use = falseに設定されていると、Computer UseとRecord & Replayの両方が無効になる

---

GN+風にChatGPTに要約させた内容です。
一度簡単に試してみましたが、思ったよりもうまくSkill化してくれました。