字幕のない英語の動画に、リアルタイムで日本語字幕を付ける方法(Windows)
英語の動画や配信には、字幕が付いていないことがよくあります。海外のライブ配信には最初から字幕が ありませんし、講義や勉強会の録画、ポッドキャスト、海外ドラマの原語版も同じです。自動翻訳の精度は 実用域に入っていますが、そもそも音声を文字にするところが難所として残っています。
このページでは、Windows でそれをどう実現するか——道具を選ぶときに見るべき点と、私が作っている アプリの使い方、そしてできないこと——をまとめます。
道具を選ぶときに見る 6 点
何を使うにしても、自分の見方に合うかどうかはこのあたりで決まります。
- 音声をどこから取るか。 ブラウザのタブ内の動画しか扱えない道具だと、デスクトップの プレイヤー、ダウンロードしたファイル、配信クライアント、ゲーム、通話が全部対象外になります。 システム音声を取れれば全部カバーでき、さらに特定のアプリだけを指定できれば、通知音や 別ウィンドウの音が字幕に混ざりません。
- 原文と訳文を同時に見られるか。 英語の原文を見ながら下に日本語訳が出るのと、訳文だけを 読むのとでは、体験がまったく別物です。英語学習も兼ねているなら、ここが一番効きます。
- 対応する言語の組み合わせ。 英語字幕を出せる道具は多く、日本語に訳せるものは ぐっと減ります。
- 記録が残るか。 見るだけなら消えて構いませんが、講義を後から復習したい、書き起こしを 誰かに渡したい、という用途では履歴と書き出しが要ります。
- 認識がどこで動くか。 手元の PC で動けば、音声はアップロードされず、従量課金もなく、 サービスの存続にも左右されません。
- PC に何を要求するか。 後から足せない種類のハードウェア要件で線引きされている機能も あります。手持ちのグラフィックスカードで足りるかどうかは、先に確認しておく価値があります。
まず手元にあるものを試す
Windows にはリアルタイム字幕が標準で入っています(Win + Ctrl + L)。ハードウェアと Windows のバージョンによっては、これだけで目的を果たせるかもしれません。対応内容は Windows の更新ごとに変わるので、本ページを含む第三者の比較ではなく マイクロソフトの公式ページ で最新の対応状況を確認してください。それで足りるなら、別のアプリは要りません。
ブラウザ拡張は、見るものが全部ブラウザ内にあるなら選択肢になります(音声をサーバーに送る タイプが多い点は把握しておいてください)。クラウドの文字起こしサービスは精度が高い一方、 ファイルをアップロードして待つ方式なので、今まさに見ている配信には使えません。
RealSub の使い方
RealSub は、PC が再生している音声を取り込み、 手元のマシンで認識し、必要なら翻訳して、クリックを透過する字幕バーを最前面に表示します。
1. インストールして初回ウィザードを進める。 ハードウェアを確認したうえで、聞いている言語 (英語)と読みたい言語(日本語)を選びます。認識モデルはアプリに同梱されているので、 ダウンロードもアカウントも API キーも不要です。
2. 音声ソースを選ぶ。 システム全体か、特定のアプリ 1 つか。後者を覚えておくと便利です。 ブラウザやプレイヤーを指定すれば、その音だけが認識対象になり、通知音や裏で開いている別の動画は 字幕に混ざりません(一度も音を出していないアプリは一覧に現れません)。
3. 再生してバーの位置を決める。 字幕バーはクリックを透過するので、下のプレイヤーの操作を 邪魔しません。マウスを乗せると枠が出て、移動とサイズ変更ができます。フォント、文字サイズ、色、 不透明度は設定から変更できます。
話している最中に英語の原文が出て、そのすぐ下に日本語訳が少し遅れて追いついてきます。
ハードウェアについて、正直なところ
認識は GPU で動きます。GTX 10 シリーズ・VRAM 2GB から動作し、4GB 以上あれば余裕があります。 AMD / Intel の GPU は Vulkan 経由で、初回に短い性能テストを行い、合格した場合のみ有効になります。 使える GPU がなければ、小さめのモデルを使う CPU モードにフォールバックします——動きますが、 精度は落ち、遅延ははっきり増えます。クラウドに逃がす仕組みは意図的に持っていません。 音声は PC の外に出ません。
できないこと
入れる前に知っておいてください。
- Microsoft 翻訳などのオンライン翻訳サービスでは、訳文は原文より一拍遅れます。 文単位で翻訳するため、一文が終わるまで待ちます。通常の会話で 数秒、途切れずに話し続ける場面(実況・講義・配信)では 10 秒程度遅れることがあります。 断片ではなく文として訳すための代償で、通信や性能の問題ではありません。
- 歌と純粋な音楽には字幕が出ません。 楽曲や、ラジオ的な加工のかかった声は非音声と判定され、 認識器まで届きません。
- 認識はオフライン、標準のローカル翻訳もオフラインです。 Microsoft 翻訳などのオンライン翻訳サービスを 使うときだけネット接続が必要で、送られるのは認識後のテキストだけ、音声は送信されません。
- 機械認識 + 機械翻訳です。 訛りの強い発音、話者の重なり、早口では誤りが増えます。理解の 補助であって、記録としての書き起こしではありません。
- Windows のみ(10 バージョン 2004 以降、64bit)。macOS 版は計画中ですが、時期は未定です。
精度の話
自前のベンチマーク(TED、ニュース、アニメ、講義、配信の録画)で測った値は 英語 98%、日本語 92%、中国語 93% です。公式スコアではなく自分の テストセットでの内部値で、実際の数字は素材次第です。一人がはっきり話す音声ならこれより上、 BGM 付きの雑談なら下がります。
確実なのは、自分が見ているもので試すことです。文字起こしは無料版で回数制限なく使えるので、 10 分ほど実際の素材に当ててから、翻訳にお金を払う価値があるか判断してください。
よくある質問
どのプレイヤーでも使えますか。 Windows が再生している音声を取り込むので、プレイヤーの種類は問いません。デスクトップの プレイヤー、ブラウザ、配信クライアント、ダウンロードした動画、ゲームでも同じです。
英語の字幕だけ出すこともできますか。 できます。そこが無料の範囲です。翻訳をオフにすると、話された英語がそのままテキストで出ます。 英語学習が目的なら、これだけで足りることも多いはずです。
音声はアップロードされますか。 音声は一切送信されません。翻訳を有効にしている間は、認識後のテキストだけが選択した翻訳先へ 送られます。翻訳をオフにするか、自分のローカルサーバーを指定すれば、何も外に出ません。 詳細はプライバシーポリシーに経路ごとに書いてあります。
費用は。 本体は無料で、リアルタイム文字起こしは期限も回数制限もありません。日本語への翻訳と履歴・ 書き出しは買い切りの DLC で解放されます。初回起動時から 7 日間、全機能の試用ができます。