ScreenTranslate - 画面をキャプチャするとすぐ翻訳されるオンデバイス macOS メニューバーアプリ（オープンソース）
(github.com/hcmhcs)こんにちは、学生開発者です！
最近はAIエージェントの分野に興味が湧いて、OpenClawに載っているシステム指示を分解しながら勉強していました。エージェントがLLMの単純な推論よりはるかに良い結果を出す理由や、どんなシステム指示と構造で成り立っているのかが気になったからです。（自分の状況に合ったAIエージェントを構築して生産性を上げたいと思っていました 笑） ところが、vscode上のコード内にあるシステム指示がどれも英語で、関連ドキュメントもすべて英語だったため、翻訳タブを開いて行き来しながらコピペして読んでいると文脈がぶつ切りになって集中できませんでした。画像やPDFのようにテキストをコピーできない場合は、なおさらもどかしかったです。
そんなとき、愛用していたScreenHint（画面上にキャプチャを固定しておけるアプリ）を見て、「このUXでキャプチャした領域をそのまま翻訳できればいい」と思いました。学生なので翻訳APIに毎回お金がかかるのも負担で、オンデバイスで動くことを前提にしました。ちょうどClaude Codeのおかげでこのアイデアを素早く実装でき、こうして生まれたのが最初のオープンソースプロジェクトです。
ScreenTranslate — 画面をキャプチャすると OCR → 翻訳 がすぐ行われる macOS アプリです。メニューバーに常駐し、ショートカットですぐ使えます。
大きく分けて2つの機能があります:
- 画面キャプチャ翻訳 — ショートカット → 範囲をドラッグ → OCRで認識して翻訳ポップアップ
- テキスト翻訳 — テキストを選択 → ショートカット → すぐ翻訳（OCRなし）
無料でオープンソース（GPL v3）です。オンデバイスで動作するため、翻訳データがサーバーに送られることは一切ありません。
特徴:
- Apple Vision OCR + Apple Translation ベースで、インターネットなしで動作
- DeepL の標準アプリより体感速度がかなり速いです。キャプチャから翻訳ポップアップまで約1秒
- クラウドエンジンが必要な場合は、DeepL、Google Cloud、Azure を BYOK（APIキーを直接入力）で利用可能
- 翻訳履歴の保存、自動クリップボードコピー
- 20言語をサポート
技術スタック:
- macOS 15+ / Swift 6 / SwiftUI / SwiftData
- 内部フロー: Vision(VNRecognizeTextRequest) → 改行の前処理 → Translation or API → ポップアップ
- 外部依存性なし。Apple ネイティブフレームワークのみ使用（要件: macOS 15+ 以上 - Apple Silicon / Intel の両方に対応）
GitHub: https://github.com/hcmhcs/screenTranslate
デモ動画: https://www.youtube.com/watch?v=ItYNAyue7eo
ダウンロード: GitHub Releases から DMG を取得するか、直接ビルド可能（README.md を参照）
最初は自分ひとりで使うつもりで軽く作ったものなので少し気恥ずかしいですが、自分としてはなかなか良く仕上がったと思い、Product Huntにも初めてローンチしてみました。実際のユーザーに使ってもらい、フィードバックを受けながらアップデートを進めています！
初めてのソロ・オープンソースプロジェクトなので至らない点も多いと思いますが、フィードバックやPRをいただけると嬉しいです :)
2件のコメント
とても便利に使っています！
温かいコメントありがとうございます！ ちょうど最近、使い勝手を高めようとあれこれ継続的に磨いているところなのですが、実際に便利に使っていただけているというお言葉は本当に大きな励みになります。はは、もしお使いの中で不便な点が出てきたら、いつでも気軽にお知らせください :)