PiP Screen Translate PiP Screen Translate

スクショはもういらない — iPhoneでどんなアプリもリアルタイム翻訳

スクショ→Google Lensのワークフローは生産性を殺してます。iPhoneの画面上でどんなアプリもリアルタイムで翻訳する方法を紹介します。スクショ不要、アプリ切り替え不要。

スクショはもういらない — iPhoneでどんなアプリもリアルタイム翻訳

1日200枚くらいスクショを撮ってました。撮りたいからじゃない — iPhone ではそうやるしか翻訳する方法がなかったから。

アプリで中国語のテキストを見つける。スクショ。サムネイルをスワイプ。タップ。テキスト選択。コピー。Google 翻訳に切り替え。ペースト。翻訳を読む。アプリに戻る。何見てたか忘れる。またスクショ。

カメラロールの9割がゴミスクショ。消すのも忘れて何千枚も溜まってる。Taobao の商品一覧のぼやけた画像、日本語ゲームのメニュー、韓国語の銀行画面、読めないフードデリバリーアプリ。一枚一枚がやってたことを中断する小さなストレスでした。

もう限界。この記事を読んでるなら、あなたも同じはず。

誰も解決できなかった問題

Android なら、ホームボタン長押しで Google が画面上のテキストを翻訳してくれる。ワンジェスチャー。終わり。

iPhone では?何もない。同等機能が存在しない。Reddit のこの手のスレッドは全部同じ結末:

「スクショ撮って、マークアップ開いて、テキスト選択してコンテキストメニューで翻訳するしかないです。」 — r/ios

「中国のショッピングアプリを使ってて、何が書いてあるか知りたいときはスクショ撮って Google Photos 開いて Google Lens で翻訳するしかない。」 — r/ios

「アプリからコピーできない長文を読んでると、スクショ方式はマジで疲れる。」 — r/ios

「何か見つかった?自分も同じの探してる。」 — 「iOS にタップ翻訳ある?」系の全投稿への返信

Apple も一応やってます。Apple 翻訳は選択可能なテキストにしか効かない。でもほとんどのアプリはテキストを画像やカスタムコンポーネントとして描画してるから選択できない。iPhone 16+ の Visual Intelligence はカメラを画面に向ける必要がある — 実世界の看板を翻訳するための機能で、自分のスマホを翻訳するためじゃない。

だからスクショの山は増え続けるわけです。

フローティングオーバーレイ方式

PiP Screen Translate は、使ってるどんなアプリの上にもフローティング翻訳オーバーレイを表示。OCR で画面上のテキストを読み取り、その場で翻訳を表示します。アプリを離れる必要なし、スクショも不要。

セッション開始、使いたいアプリに切り替え、オーバーレイが表示されてるテキストを翻訳。下にスクロールすれば更新。アプリを切り替えても更新。それだけ。

毎日使うアプリでどう見えるか紹介します。

マンガ・コミック

一番反響が大きいのがこれ。生のマンガを読んでる — 吹き出し内の日本語、あちこちの効果音、ナレーションボックス。ここでのスクショワークフローは地獄。毎ページやらないといけないから。

オーバーレイが各パネルの日本語テキストを読み取り、翻訳を表示。スクショ→切り抜き→翻訳→内容把握のために毎回止まることなく、章を読み進められます。

プロのスキャンレーションとは比べられません。でも公式リリースに追いついて、生の原稿を先読みしたいときには十分使える。

詳しいガイドも書きました:iPhoneでマンガを翻訳する方法

中国のショッピングアプリ

Taobao、Pinduoduo、1688、小紅書 — どれも日本語版がない。中国から仕入れてる人や駐在員なら、常に翻訳が必要。商品タイトル、価格、サイズ、送料、出品者情報。

オーバーレイが見えるもの全部を翻訳 — 商品名、価格、ショップ情報、ナビボタン。スクショのボトルネックなしで何十もの商品リストを閲覧できます。

1688 から仕入れてる人には、いちいちスクショせずに価格を比較して MOQ 条件を確認できるということ。

中国アプリの完全ガイド:iPhoneでTaobaoを日本語で使う方法

韓国・日本の銀行

海外に住むと、現地語の銀行アプリを使うことになる。韓国の銀行アプリ(新韓、ハナ、KB国民)は韓国語でさえ複雑 — 読めない言語では無理ゲーです。

日本の銀行アプリ、公共料金の支払い画面、行政ポータルも同じ。テキストは選択できない。コピーして翻訳ツールに貼ることもできない。唯一の手段がスクショだった。

オーバーレイがあれば、口座メニューのナビゲーション、取引履歴の閲覧、振込画面の理解、設定の探索が、どのボタンが何なのか推測せずにできる。銀行アプリでの誤タップは実害がある — インターフェースをちゃんと読めることは大事です。

日本語・韓国語・中国語のゲーム

ビジュアルノベル、JRPG、ガチャゲーなどストーリー重視のゲームにはテキストが大量にある。ダイアログ、メニュー、クエスト説明、アイテムステータス、スキルツリー。ローカライズされてなければ、プレイスルーごとに何千枚もスクショすることに。

オーバーレイがプレイ中にダイアログを翻訳。ちゃんとしたローカライズの代わりにはならない。でも日本語版が予定されてないゲームや、翻訳版が出る前に先行プレイしたいときに、ストーリーを追うことはできます。

ゲーム翻訳の完全ガイド:iPhoneで海外ゲームを翻訳する方法

SNS

小紅書、Weibo、LINE、KakaoTalk、その他外国語のソーシャルプラットフォームをスクロール。全投稿がスクショの対象になる。友達が中国語でメッセージ送ってくる。誰かが日本語でミームを投稿。韓国の Twitter のトレンドを理解したい。

オーバーレイがスクロール中に投稿、コメント、キャプション、UI 要素を翻訳。Instagram を見るみたいに外国語のフィードを閲覧できる — 3秒おきにスクショ→翻訳で止まることなく。

フードデリバリー

東京、ソウル、上海にいる。お腹が空いてる。地元のフードデリバリーアプリを開く — 美団、Coupang Eats、日本語版 Uber Eats。メニューが読めない言語で全部書いてある。料理名、食材の説明、カスタマイズオプション、全部。

メニューの1品ずつスクショ?1店で30枚。オーバーレイがあれば、メニューをスクロールして全部読むだけ。辛い?豚肉?ベジタリアン?注文する前にわかります。

中国で毎日これに向き合ってる人向けの完全ガイド:中国の言語の壁を乗り越える

「○○を使えばいいのでは?」

全部試しました。どれもダメだった理由:

Google Lens / Google 翻訳のカメラ — まずスクショが必要(iPhone では)。アプリを離れて Google を開いて、処理を待って、翻訳を読んで、戻る。逃れたいワークフローそのもの。カメラモードは実物を撮るためのもので、自分のスマホ画面用じゃない。

Apple 翻訳 — 選択可能なテキストにしか効かない。ほとんどのアプリの UI テキストは選択できない。画像、カスタムコンポーネント、canvas 要素のテキストは読めない。

Visual Intelligence(iPhone 16+) — カメラを別の画面に向ける必要がある。実世界の看板やメニュー用。手に持ってるスマホの翻訳には使えない。

Safari 翻訳 — Safari でしか動かない。アプリはウェブサイトじゃない。動的ロードの Web アプリでさえ Safari の翻訳を壊すことがよくある。

コピペ — テキストが選択できるなら有効。大半の場合、できない。

言語を学ぶ — やってます。でも今日の昼ごはんを注文する必要がある。

使い方

  1. PiP Screen Translate を開き、翻訳セッション開始
  2. 使いたいアプリに切り替え — オーバーレイは画面にフローティングしたまま
  3. オーバーレイが OCR で表示テキストを読み取り翻訳を表示
  4. スクロール、ナビゲート、アプリ切り替え — 自動更新

これがワークフローの全部。スクショ不要、アプリ切り替え不要、コピペ不要、待ち時間なし。

FAQ

どんなアプリでも使える?

はい。オーバーレイは画面上のすべての上にフローティング表示。Taobao、マンガリーダー、ゲーム、銀行アプリ、SNS、設定画面、なんでも。

対応言語は?

日本語、中国語(簡体字・繁体字)、韓国語など多数。日本語やその他の言語に翻訳します。

Google Lens より良い?

1枚の画像なら、Google Lens のほうが丁寧な結果を出すこともある。継続的な使用 — アプリの閲覧、マンガの章を読む、銀行アプリを操作する — なら、オーバーレイは桁違いに速い。やってることを中断しなくていいから。スクショ不要、アプリ切り替え不要。

Apple の内蔵翻訳は?

Apple 翻訳は選択可能なテキストにだけ対応。ほとんどの外国語アプリはテキストを選択不可能な UI 要素、画像、カスタムコンポーネントとして描画してる。オーバーレイは描画方式に関係なく画面上のすべてを読み取ります。

オフラインで使える?

OCR(テキスト読み取り)はデバイス上で動作。翻訳にはネット接続が必要です。

翻訳の精度は?

閲覧、ナビゲーション、文脈の把握には十分。重要な内容 — 金融取引、医療情報、法的文書 — は、必ず人間の翻訳者やより慎重な方法で確認してください。


このワークフローに切り替えてから、3,000枚のスクショを削除しました。カメラロールにやっと本物の写真が入ってます。

PiP Screen Translate は App Store で入手できます。無料トライアル、アカウント不要。

関連記事

Screen Translate
★★★★★
Free
ダウンロード