楽譜に基づくトークン配置と周期信号注入による Infilling 型歌声合成
音声デモページ

高木真人, 西原美玖, 法野行哉, 橋本佳, 南角吉彦, 徳田恵一（名古屋工業大学）｜日本音響学会 2026 年秋季研究発表会

本ページでは、論文中の主観評価実験で実際に使用した音声サンプルを公開しています。

学習データ
中国語歌唱コーパス「ACE-Opencpop」の train セット（約 140 時間・30 話者・95 曲）
評価音声
test セット（既知話者・未知楽曲）から抽出したフレーズ
条件
各フレーズの先頭 30% を音声プロンプトとして与え、後続の 70%（生成区間）を合成・評価対象としています。サンプリング周波数は 24 kHz、ボコーダには BigVGAN v2 を使用しています。

※ 評価フレーズは各実験で test セットから無作為に抽出しているため、セクションごとに含まれるフレーズの組み合わせが異なります（各実験につき 10 フレーズ、いずれも 10 話者・5 曲から構成）。
※ 実験 2 は被験者の負担軽減のため 2 回（Test A / Test B）に分割して実施しましたが、本ページでは全 10 フレーズについて全 9 条件の音声を揃えて掲載しています。

目次手法一覧実験 1：周期信号注入によるピッチ追従合成音声の品質（MOS-Q）ピッチ追従性（DMOS-P）発声タイミング再現性（DMOS-T）実験 2：楽譜に基づくトークン配置

手法一覧

手法MIDI ノート番号の連結周期信号注入周期信号の F0説明
GT———自然音声（データセットの録音、48 kHz → 24 kHz にリサンプリング）
GT-voc———自然音声のメルスペクトログラムを BigVGAN v2 で再合成した音声
BASEなしなし—ピッチ情報をモデルに明示的に与えない手法
P-Cありなし—音素トークンに MIDI ノート番号を連結する手法
P-Hなしあり楽譜の音高周期信号注入を行う手法（周期信号は楽譜の音高から生成）
P-CHありあり楽譜の音高MIDI ノート番号の連結と周期信号注入を併用する手法
P-H*なしあり自然音声から抽出【参考条件】 P-H の周期信号を、自然音声から抽出した F0 で生成
P-CH*ありあり自然音声から抽出【参考条件】 P-CH の周期信号を、自然音声から抽出した F0 で生成

実験 1：周期信号注入によるピッチ追従

トークン配置を提案手法（NOTE）に固定し、ピッチ情報の与え方が異なる 6 手法を比較しました。以下は論文 Table 1 の評価結果です（平均値 ±95% 信頼区間、被験者 15 名）。

手法 ＼ 指標合成音声の品質ピッチ追従性発声タイミング再現性
MOS-Q ↑SingMOS-Pro ↑MCD (dB) ↓DMOS-P ↑FFE (%) ↓DMOS-T ↑
GT4.37 ± 0.114.36 ± 0.12––––
GT-voc4.13 ± 0.114.19 ± 0.132.98–4.5–
BASE3.09 ± 0.154.11 ± 0.138.031.53 ± 0.1346.03.39 ± 0.19
P-C3.13 ± 0.164.17 ± 0.127.511.48 ± 0.1135.13.07 ± 0.18
P-H3.85 ± 0.143.99 ± 0.146.723.85 ± 0.1510.83.87 ± 0.18
P-CH3.97 ± 0.123.96 ± 0.166.623.72 ± 0.169.43.89 ± 0.18
P-H*3.85 ± 0.124.07 ± 0.166.624.53 ± 0.126.14.47 ± 0.12
P-CH*3.99 ± 0.134.02 ± 0.156.614.51 ± 0.126.54.57 ± 0.10

太字は、参考条件（P-H* / P-CH*）を除く比較手法のなかで最も良い値を表します。GT は自然音声、GT-voc はその分析再合成音声です。

【参考条件 P-H* / P-CH* について】
周期信号の生成に自然音声から抽出した「正解の F0 軌跡」を用いており、周期信号注入が達成しうるピッチ追従性の上限を示すための参考条件（オラクル条件）です。楽譜情報のみから合成を行う他の手法と直接比較するものではありません。

1. 合成音声の品質（MOS-Q 評価用音声）

生成区間のみを切り出した単一の音声（約 3 秒）です。声質、音色、調音の明瞭さ、ノイズの少なさといった「音声の自然さ」に着目してお聴きください。周期信号注入を行う 4 手法（P-H / P-CH / P-H* / P-CH*）と、行わない手法（BASE / P-C）との間で、明らかな音質差が確認できます。

フレーズ GT GT-voc BASE P-C P-H P-CH P-H* P-CH*
歌手 4／曲 2044001628
歌手 15／曲 2044001628
歌手 9／曲 2044001646
歌手 11／曲 2044001646
歌手 17／曲 2044001646
歌手 28／曲 2044001646
歌手 3／曲 2044001664
歌手 21／曲 2044001664
歌手 24／曲 2044001664
歌手 27／曲 2044001664

▶ を押すと、その音声に対応する図がここに表示されます。

2. ピッチ追従性（DMOS-P 評価用音声）

前半に参照音声（GT-voc）、短い無音を挟んで後半に合成音声を連結した音声です。参照音声のメロディに対し、合成音声のピッチがどれだけ正確に追従できているかをお聴き比べください。BASE や P-C では楽譜の旋律からの逸脱が見られますが、周期信号注入を行う手法では、ビブラートなどの自然な歌唱表現を保ちながら旋律に正確に沿っていることが確認できます。

フレーズ BASE P-C P-H P-CH P-H* P-CH*
歌手 20／曲 2044001628
歌手 26／曲 2044001628
歌手 29／曲 2044001628
歌手 2／曲 2044001646
歌手 6／曲 2044001646
歌手 14／曲 2044001646
歌手 22／曲 2044001646
歌手 8／曲 2044001664
歌手 10／曲 2044001664
歌手 16／曲 2044001664

▶ を押すと、その音声に対応する図がここに表示されます。

3. 発声タイミング再現性（DMOS-T 評価用音声）

上記の連結音声に、拍のタイミングを示すクリック音を重ね合わせた音声です。クリック音に対する発声タイミングのズレが、前半（参照音声）と後半（合成音声）でどのように異なるかをご確認ください。

フレーズ BASE P-C P-H P-CH P-H* P-CH*
歌手 12／曲 2044001628
歌手 30／曲 2044001646
歌手 5／曲 2044001664
歌手 18／曲 2086003182
歌手 6／曲 2086003200
歌手 19／曲 2092003412
歌手 23／曲 2092003430
歌手 25／曲 2092003448
歌手 13／曲 2100003721
歌手 1／曲 2100003739

▶ を押すと、その音声に対応する図がここに表示されます。

実験 2：楽譜に基づくトークン配置

配置名説明
FRONTF5-TTS と同様に、音素トークンを系列の先頭に詰め、残りをブランクトークンで埋める「前詰め配置」
NOTE【提案手法】 楽譜の音価に従い、各音符に対応する音素トークンをフレーム単位のタイムライン上に配置
PHONE【参考条件】 人手で修正された音素境界アノテーションに従って配置（上限性能）

トークン配置 3 条件 × ピッチ条件付け 3 手法（BASE / P-H / P-CH）の計 9 条件について、発声タイミング再現性（DMOS-T）を比較しました。以下は論文 Table 2 の評価結果です（平均値 ±95% 信頼区間、被験者 20 名）。

手法 ＼ 配置FRONTNOTEPHONE
BASE1.73 ± 0.203.29 ± 0.233.66 ± 0.21
P-H2.57 ± 0.233.89 ± 0.194.22 ± 0.18
P-CH2.67 ± 0.234.00 ± 0.204.24 ± 0.16

配置ごとの比較音声（DMOS-T 評価用音声）

実験 1 の DMOS-T と同様に、前半（参照音声）と後半（合成音声）の連結音声にクリック音を重ねています。FRONT では発声タイミングが大きく崩れてしまうのに対し、提案手法である NOTE は、正解境界を用いた PHONE に迫る精度で発声タイミングを再現できていることが確認できます。

フレーズ FRONT NOTE PHONE
BASE P-H P-CH BASE P-H P-CH BASE P-H P-CH
歌手 12／曲 2044001628
歌手 30／曲 2044001646
歌手 5／曲 2044001664
歌手 18／曲 2086003182
歌手 6／曲 2086003200
歌手 19／曲 2092003412
歌手 23／曲 2092003430
歌手 25／曲 2092003448
歌手 13／曲 2100003721
歌手 1／曲 2100003739

▶ を押すと、その音声に対応する図がここに表示されます。

再生する音声を ▶ で選んでください