Modeling of Rakugo Speech and Its Limitations: Toward Speech Synthesis That Entertains Audiences

Authors: Shuhei KATO^1,2, Yusuke YASUDA^1,2, Xin WANG², Erica COOPER², Shinji TAKAKI³, and Junichi YAMAGISHI^2,4

¹ The Graduate University for Advanced Sciences (SOKENDAI), Japan.
² National Institute of Informatics, Japan.
³ Nagoya Institute of Technology, Japan.
⁴ University of Edinburgh, UK.

Submitted to IEEE Access in Nov 2019 (resubmitted in Jun 2020).

Paper: https://arxiv.org/abs/1911.00137

Systems

	Tacotron 2	SA-Tacotron	GST	Manually labeled context features
AbS (Analysis-by-Synthesis)	-	-	-	-
Tacotron	✓	-	-	-
Tacotron-GST-8	✓	-	8-head	-
Tacotron-ATTR	✓	-	-	ATTR (related to character) only
Tacotron-context	✓	-	-	All
Tacotron-GST-8-ATTR	✓	-	8-head	ATTR only
Tacotron-GST-8-context	✓	-	8-head	All
SA-Tacotron	-	✓	-	-
SA-Tacotron-GST-8	-	✓	8-head	-
SA-Tacotron-ATTR	-	✓	-	ATTR only
SA-Tacotron-context	-	✓	-	All
SA-Tacotron-GST-8-ATTR	-	✓	8-head	ATTR only
SA-Tacotron-GST-8-context	-	✓	8-head	All

Samples

1: A short story about foolish brothers

Performer: アー昔からこの、オーぼんやりしたところを扱った小噺なんというのがありまして、エー兄弟が、アふたーり揃って馬鹿だったってお話が残っておりまして。
Younger brother (YB): あんちゃん。あんちゃん。
Elder brother (EB): なんだ弟。
YB: あんちゃんのめえだけど、あの一年てえのは、エー十三か月だよね。
EB: お前は馬鹿だね。そういうこと言ってるから世間でなんだかんだイ言われんだよーく覚えときな一年というのは、十四か月だで。
YB: そうなの？
YB: だってあたいゆんべ、エー、よく勘定したんだよ。一月でしょ？二月でしょ？
YB: 三月四月五月六月七月八月九月十月、十一月十二月、お正月ってほら、十三か月じゃねえか。
EB: 馬鹿。お盆が抜けてるじゃねえか。
Performer: なんてんで、エーこれどっちが抜けてんだかよく分かりませんが。

Natural

AbS

Tacotron

Tacotron-GST-8

Tacotron-ATTR

Tacotron-context

Tacotron-GST-8-ATTR

Tacotron-GST-8-context

SA-Tacotron

SA-Tacotron-GST-8

SA-Tacotron-ATTR

SA-Tacotron-context

SA-Tacotron-GST-8-ATTR

SA-Tacotron-GST-8-context

2: Conversation between a mother and her son

Performer: アもう一杯ひどくなるってえと刑務所のそば行って懲役ごっこなんてんで、モッコ担いで土運んでる子供がいまして。
Mother: ちょいと。何してんだよお前はーエエ？
Mother: ただいまじゃないの。
Mother: 着せて出してやりゃみんな汚しつ帰っつくんだから。お前の洗濯でおっかさんイチンチなあんにも出きゃしないんだよ？
Mother: 何やってんのお前は。
Son: アイしょうがないよんなガミガミ言ったってさ、あたい今みんなと懲役ごっこしてたんだから。
Mother: もっとまそもな遊びしなさいよおなあんだい懲役ごっこそれもいいけどね、エエ？
Mother: オお隣の六ちゃんごらん六ちゃんを。お前と一緒に遊んでたって着物一つ汚しゃしないだろ？
Mother: お前だって六ちゃんみたいに、綺麗におとなしく遊べないのかい？
Son: おっかあなんにも知らねえんだから黙ってなよ。六ちゃんが汚れねえのにわけあんだよ。
Son: だって六ちゃん終身懲役だもん。
Son: もう生涯シャバの風に当たれねえ、仕方がねえからイチンチむしろの上へ座ってボーっとしてるしかねえって、可哀想なもんなんだいそこいくとさ、あたいはコソ泥で捕まったミツキの半端懲役だから、外役回されてモッコ担いで土運んだりなんかして、だから着物がすこーしぐらい汚れたってしゃあねえんだよ。
Mother: たくしょうがないねえ。じゃおっかさんがみんなに頼んであげるから、お前も明日から終身懲役にしてもらいな。
Performer: なんてんで、親が子供の罪重くしたりなんかしまして。

Natural