AI音声合成（TTS）の仕組みを徹底解説｜なぜ自然な声になったのか

「この音声、AIが生成したものだとは思えない」。2025年以降、TTS（Text-to-Speech）が生成する音声を聴いた多くの人がこう感じている。では、何が変わったのか。

私は自社で音声チャットアプリ（voicevox-chat.com）を開発した際、VOICEVOXの合成エンジンを利用した。開発期間約3ヶ月でリリースに至ったが、音声品質のチューニングよりも、UIの設計とユーザー体験の調整に時間がかかった。音声品質そのものは、エンジン任せで十分なレベルにあった。

この記事では、ロボットっぽい読み上げから、人間と区別がつかない自然な声に至るまでの技術的な変遷を整理する。

TTSの基本構造: テキストが音声になるまで

TTSは大きく3つの処理に分かれる。

テキスト分析では、入力された文字列を音素（phoneme）の並びに変換する。日本語の場合、「今日は良い天気ですね」は「ky o o w a y o i t e n k i d e s u n e」といった音素列に分解される。漢字の読みやアクセントの位置もここで決まる。

音響特徴量の生成では、音素列から音声の「設計図」を作る。ピッチ（音の高さ）、デュレーション（長さ）、スペクトル（音色）の3つのパラメータが、各時刻の音声を形作る。

ボコーダ（vocoder） が、この設計図を実際の波形に変換する。ここが音質の善し悪しを決める最終工程だ。

この基本構造自体は2000年代から変わっていない。変わったのは、各工程で「何が計算を担っているか」だ。

従来方式: 結合型とパラメトリック型

2000年代から2010年代のTTSは、大きく2つの方式に分かれていた。

結合型

人間の録音データベースから適切な音声片を選び、つなぎ合わせる方式。品質は録音音声そのものに近いが、データベースにない表現は出せない。「プロソディの不自然さ」が課題で、単語ごとのつなぎ目に違和感が出やすかった。

パラメトリック型

音声の統計モデルを構築し、パラメータから音声を合成する方式。結合型のような録音の制約はないが、音質が「機械的」になりがちだった。2010年代の多くのTTSがこの方式で、いわゆる「ロボット声」の元凶でもある。

最初にTTSに触れたのは2018年頃、Google Cloud TTSを業務で試した時だった。当時はパラメトリック型が主流で、日本語の読み上げにはまだ違和感が残る品質だった。たしかに文字は読み上げているが、「人間が話している」という錯覚には至らない。そのギャップが、たった数年で埋まった。

ニューラルTTS: 音声合成のパラダイムシフト

2017年のTacotron 2（Wang et al., Google）が転換点だった。エンコーダ・デコーダ構造のSeq2Seqモデルに、アテンション機構を組み合わせることで、テキストから直接メルスペクトログラムを生成する。このメルスペクトログラムをWaveNet（Oord et al., DeepMind）というボコーダで波形に変換する。

この組み合わせが生成した音声は、当時のMOS（Mean Opinion Score: 5段階の自然性評価）で4.53を記録した。人間の録音音声のMOSが4.58だったため、ほぼ同等と言っていい。

エンコーダ・デコーダの役割

エンコーダはテキストを「意味のある表現」に変換する。単なる文字の羅列ではなく、文脈を考慮したベクトル表現を作る。「今日」が「きょう」なのか「こんにち」なのかも、前後の文脈で判断される。

デコーダは、この表現から音響特徴量を時系列に生成する。アテンション機構が「今、テキストのどの部分に注目すべきか」を制御する。このアテンションがうまく機能しないと、「今日は」を「きょうわ」と読んだり、同じ箇所を繰り返し読んだりする。

FastSpeechと並列生成

Tacotron 2の弱点は生成速度だった。1秒の音声を生成するのに数秒かかる逐次処理だったため、リアルタイム用途には不向きだった。

FastSpeech（Ren et al., 2019）は、このボトルネックを解消した。アテンションの代わりに長さ予測器（duration predictor）を使い、全フレームを並列に生成する。生成速度は数十倍に向上し、リアルタイムTTSが実用的になった。

拡散モデルが音声合成の現在を変えた

2023年以降、画像生成で成功を収めた拡散モデル（diffusion model）が音声合成にも応用され始めた。

拡散モデルの発想は逆説的だ。「ノイズを少しずつ加えてデータを破壊する」プロセス（前方拡散）を学習し、その逆プロセス（後方拡散）で「ノイズから目的のデータを復元する」。音声の場合、ランダムノイズから徐々に自然な音声波形を「彫刻する」イメージだ。

NaturalSpeech 2（Microsoft Research、2023年）やVoicebox（Meta、2024年）は、拡散モデルを音声合成に適用した代表例。特にZero-shot cloning（1つの音声サンプルから話者を再現する技術）の品質が飛躍的に向上した。

2026年に入ると、この分野はさらに加速している。ElevenLabsのv3モデルは70以上の言語に対応し、audio tagsという仕組みで感情表現を制御できる。Fish AudioのS2 Proは1,000万時間以上の学習データをベースに、50以上の言語でベンチマーク最高水準を記録している。

自然性を測る: MOSスコアの現在地

TTSの品質評価で最も広く使われるのがMOS（Mean Opinion Score）だ。1（非常に不自然）から5（非常に自然）の5段階で、複数の評価者が聴き取って採点する。

2025年時点の主要TTSのMOSは以下の通り。

• 人間の録音音声: 4.5〜4.7
• Google Cloud TTS（日本語、最新モデル）: 4.2〜4.4
• Azure TTS（日本語）: 4.1〜4.3
• Amazon Polly（日本語、Neural）: 4.0〜4.2

最高水準のTTSは、人間の録音音声と0.3ポイント差以内に迫っている。とはいえ、MOSは平均値であり、「たまに不自然になる箇所」はまだ存在する。長い文章、複雑な文構造、専門用語の連続などでは、依然として違和感が生じることがある。

まだ解決できていない課題

技術は劇的に進歩したが、いくつか根本的な課題が残っている。

感情の制御が難しい。喜び、悲しみ、怒りといった感情を意図的に表現する技術は研究中だが、テキストだけから適切な感情を推定するのは難しい。多くのTTSは「中立的な読み上げ」に最適化されており、感情の幅が狭い。

長文の一貫性も課題だ。30分の記事を一括で音声化すると、文末のトーンが変わったり、同じ単語の読みが途中で変わったりすることがある。これはメモリ制約に起因する問題で、長文をセグメントに分割して処理する運用での対応が一般的だ。

リアルタイム性と品質のトレードオフも残る。高品質な拡散モデルは生成に時間がかかり、低遅延が求められる用途ではパラメトリック型や並列生成モデルが選ばれる。「最高品質」か「最高速度」かの二択ではなく、用途に応じた選択が必要だ。

実務で使うなら知っておくべきこと

TTSの技術的な仕組みを理解した上で、実務での選択に役立つポイントを3つ挙げる。

APIの選定は「日本語品質」で決める。 英語の品質が高くても、日本語の品質は別問題だ。実際に自社の記事サンプルを入力して出力を比較するのが確実。

辞書のカスタマイズを前提にする。 固有名詞や専門用語の読みは、デフォルトのままでは間違えることが多い。辞書機能のあるサービスを選び、運用初期に読みの修正を集中的に行う。

ボコーダの違いを意識する。 同じ音響特徴量でも、ボコーダが違えば音質が変わる。低ビットレートの通信環境を想定するなら、ロバストなボコーダを選ぶ必要がある。

AI音声合成は「人間の声を再現できた」というより「人間の声と区別がつかないレベルに到達した」という段階にある。最後の0.3ポイントを埋めるには、感情表現と長文の一貫性が鍵になる。

とはいえ、Webメディアの記事読み上げという用途においては、現在の品質で十分に実用的だ。残る課題は、技術そのものよりも「どう使いこなすか」という設計と運用の領域にあると思っている。