英語の動画や配信には、字幕が付いていないことがよくあります。海外のライブ配信には最初から字幕が ありませんし、講義や勉強会の録画、ポッドキャスト、海外ドラマの原語版も同じです。自動翻訳の精度は 実用域に入っていますが、そもそも音声を文字にするところが難所として残っています。
このページでは、Windows でそれをどう実現するか——道具を選ぶときに見るべき点と、私が作っている アプリの使い方、そしてできないこと——をまとめます。
何を使うにしても、自分の見方に合うかどうかはこのあたりで決まります。
Windows にはリアルタイム字幕が標準で入っています(Win + Ctrl + L)。ハードウェアと Windows のバージョンによっては、これだけで目的を果たせるかもしれません。対応内容は Windows の更新ごとに変わるので、本ページを含む第三者の比較ではなく マイクロソフトの公式ページ で最新の対応状況を確認してください。それで足りるなら、別のアプリは要りません。
ブラウザ拡張は、見るものが全部ブラウザ内にあるなら選択肢になります(音声をサーバーに送る タイプが多い点は把握しておいてください)。クラウドの文字起こしサービスは精度が高い一方、 ファイルをアップロードして待つ方式なので、今まさに見ている配信には使えません。
RealSub は、PC が再生している音声を取り込み、 手元のマシンで認識し、必要なら翻訳して、クリックを透過する字幕バーを最前面に表示します。
1. インストールして初回ウィザードを進める。 ハードウェアを確認したうえで、聞いている言語 (英語)と読みたい言語(日本語)を選びます。認識モデルはアプリに同梱されているので、 ダウンロードもアカウントも API キーも不要です。
2. 音声ソースを選ぶ。 システム全体か、特定のアプリ 1 つか。後者を覚えておくと便利です。 ブラウザやプレイヤーを指定すれば、その音だけが認識対象になり、通知音や裏で開いている別の動画は 字幕に混ざりません(一度も音を出していないアプリは一覧に現れません)。
3. 再生してバーの位置を決める。 字幕バーはクリックを透過するので、下のプレイヤーの操作を 邪魔しません。マウスを乗せると枠が出て、移動とサイズ変更ができます。フォント、文字サイズ、色、 不透明度は設定から変更できます。
話している最中に英語の原文が出て、そのすぐ下に日本語訳が少し遅れて追いついてきます。
認識は GPU で動きます。GTX 10 シリーズ・VRAM 2GB から動作し、4GB 以上あれば余裕があります。 AMD / Intel の GPU は Vulkan 経由で、初回に短い性能テストを行い、合格した場合のみ有効になります。 使える GPU がなければ、小さめのモデルを使う CPU モードにフォールバックします——動きますが、 精度は落ち、遅延ははっきり増えます。クラウドに逃がす仕組みは意図的に持っていません。 音声は PC の外に出ません。
入れる前に知っておいてください。
自前のベンチマーク(TED、ニュース、アニメ、講義、配信の録画)で測った値は 英語 98%、日本語 92%、中国語 93% です。公式スコアではなく自分の テストセットでの内部値で、実際の数字は素材次第です。一人がはっきり話す音声ならこれより上、 BGM 付きの雑談なら下がります。
確実なのは、自分が見ているもので試すことです。文字起こしは無料版で回数制限なく使えるので、 10 分ほど実際の素材に当ててから、翻訳にお金を払う価値があるか判断してください。
どのプレイヤーでも使えますか。 Windows が再生している音声を取り込むので、プレイヤーの種類は問いません。デスクトップの プレイヤー、ブラウザ、配信クライアント、ダウンロードした動画、ゲームでも同じです。
英語の字幕だけ出すこともできますか。 できます。そこが無料の範囲です。翻訳をオフにすると、話された英語がそのままテキストで出ます。 英語学習が目的なら、これだけで足りることも多いはずです。
音声はアップロードされますか。 音声は一切送信されません。翻訳を有効にしている間は、認識後のテキストだけが選択した翻訳先へ 送られます。翻訳をオフにするか、自分のローカルサーバーを指定すれば、何も外に出ません。 詳細はプライバシーポリシーに経路ごとに書いてあります。
費用は。 本体は無料で、リアルタイム文字起こしは期限も回数制限もありません。日本語への翻訳と履歴・ 書き出しは買い切りの DLC で解放されます。初回起動時から 7 日間、全機能の試用ができます。