Investigation of learning abilities on linguistic features in sequence-to-sequence text-to-speech synthesis

Authors: Yusuke Yasuda, Xin Wang, Junichi Yamagishi

Source code: https://github.com/nii-yamagishilab/self-attention-tacotron.

Japanese (ATR Ximera)

System Natural Tacotron Tacotron Tacotron Tacotron Tacotron Tacotron
Parameter size Small Large Small Large Large Large
Encoder CBHL CBHL CBHL CBHL CNN CNN
Self-attention - - X X - X
1: 話芸としての完成度に留まらず、ワシントンに乗り込んで辻説法に及ぶ迫力も加わり、実に鬼気迫るパワーがある。
2: 今は、釣り竿もいろんな種類があって、折り畳むと小さくなるのもあるんだけど、それを出して、釣りの準備を始めたんだよ。
3:「出版とパソコンの双方に興味を持っている」という井上さん相手のやり取りはついつい弾んで、電話も長くなった。
4: 席に着いてからは待ち人がすぐにでもそこにまた姿を現しそうな気がして、つい入り口のほうを窺わずにはいられなかった。
5: そして、すべての作品の冒頭部分には、グーテンベルク計画の電子テキストについての説明文が書かれてあった。

System ABS (mel 12.5 ms) ABS (mel 5 ms) ABS (vocoder parameter) Vocoder-free TTS DNN-based SPSS
Acoustic feature M M M M V
1: 話芸としての完成度に留まらず、ワシントンに乗り込んで辻説法に及ぶ迫力も加わり、実に鬼気迫るパワーがある。
2: 今は、釣り竿もいろんな種類があって、折り畳むと小さくなるのもあるんだけど、それを出して、釣りの準備を始めたんだよ。
3:「出版とパソコンの双方に興味を持っている」という井上さん相手のやり取りはついつい弾んで、電話も長くなった。
4: 席に着いてからは待ち人がすぐにでもそこにまた姿を現しそうな気がして、つい入り口のほうを窺わずにはいられなかった。
5: そして、すべての作品の冒頭部分には、グーテンベルク計画の電子テキストについての説明文が書かれてあった。

English (Blizzard 2011)

System Natural Tacotron Tacotron Tacotron Tacotron Tacotron Tacotron Tacotron Tacotron
Input Characters Characters Characters Characters Phones Phones Phones Phones
Encoder CBHL CBHL CNN CNN CBHL CBHL CNN CNN
Self-attention - X - X - X - X
1: Very few people knew of the existence of this law.
2: As a result, he has never liked being told what to do.
3: The value of elder-hood, its unique capacity to serve the needs of people of all ages, is in danger of being lost.
4: Gary Marple functions as Chairman and Chief Technology Officer of Lessac Technologies.
5: We can take care of that.

System ABS (mel 12.5 ms) ABS (vocoder parameter) DNN-based SPSS
Acoustic feature M V V
1: Very few people knew of the existence of this law.
2: As a result, he has never liked being told what to do.
3: The value of elder-hood, its unique capacity to serve the needs of people of all ages, is in danger of being lost.
4: Gary Marple functions as Chairman and Chief Technology Officer of Lessac Technologies.
5: We can take care of that.