Rakugo speech synthesis using segment-to-segment neural transduction and style tokens — toward speech synthesis for entertaining audiences

Authors: Shuhei KATO^1,2, Yusuke YASUDA^1,2, Xin WANG², Erica COOPER², Shinji TAKAKI³, and Junichi YAMAGISHI^2,4

¹ SOKENDAI (The Graduate University for Advanced Sciences), Japan.
² National Institute of Informatics, Japan.
³ Nagoya Institute of Technology, Japan.
⁴ University of Edinburgh, UK.

Oral Session 3: Evaluation and performance, ISCA Speech Synthesis Workshop (SSW10), Sep 2019, Wien, Austria.

Paper: https://www.isca-speech.org/archive/SSW_2019/pdfs/SSW10_O_3-3.pdf.

Systems

	SSNT	Tacotron	GST	Manually labeled context features	Additional pass between the context input and the decoder
SSNT	✓
SSNT-GST-4	✓		4-head
SSNT-GST-8	✓		8-head
SSNT-GST-16	✓		16-head
SSNT-GST-32	✓		32-head
SSNT-GST-64	✓		64-head
SSNT-ATTR	✓			ATTR (related to role) only
SSNT-ATTR+	✓			ATTR only	✓
SSNT-context	✓			All
SSNT-context+	✓			All	✓
Tacotron		✓
Tacotron-ATTR		✓		ATTR only
Tacotron-context		✓		All

Samples

1: A short story about foolish brothers

Performer: アー昔からこの、オーぼんやりしたところを扱った小噺なんというのがありまして、エー兄弟が、アふたーり揃って馬鹿だったってお話が残っておりまして。
Younger brother (YB): あんちゃん。あんちゃん。
Elder brother (EB): なんだ弟。
YB: あんちゃんのめえだけど、あの一年てえのは、エー十三か月だよね。
EB: お前は馬鹿だね。そういうこと言ってるから世間でなんだかんだイ言われんだよーく覚えときな一年というのは、十四か月だで。
YB: そうなの？
YB: だってあたいゆんべ、エー、よく勘定したんだよ。一月でしょ？二月でしょ？
YB: 三月四月五月六月七月八月九月十月、十一月十二月、お正月ってほら、十三か月じゃねえか。
EB: 馬鹿。お盆が抜けてるじゃねえか。
Performer: なんてんで、エーこれどっちが抜けてんだかよく分かりませんが。

Natural

SSNT

SSNT-GST-4

SSNT-GST-8

SSNT-GST-16

SSNT-GST-32

SSNT-GST-64

SSNT-ATTR

SSNT-context

Tacotron

Tacotron-ATTR

Tacotron-context

2: Conversation between a mother and her son

Performer: アもう一杯ひどくなるってえと刑務所のそば行って懲役ごっこなんてんで、モッコ担いで土運んでる子供がいまして。
Mother: ちょいと。何してんだよお前はーエエ？
Mother: ただいまじゃないの。
Mother: 着せて出してやりゃみんな汚しつ帰っつくんだから。お前の洗濯でおっかさんイチンチなあんにも出きゃしないんだよ？
Mother: 何やってんのお前は。
Son: アイしょうがないよんなガミガミ言ったってさ、あたい今みんなと懲役ごっこしてたんだから。
Mother: もっとまそもな遊びしなさいよおなんだい懲役ごっこそれもいいけどね、エエ？
Mother: オお隣の六ちゃんごらん六ちゃんを。お前と一緒に遊んでたって着物一つ汚しゃしないだろ？
Mother: お前だって六ちゃんみたいに、綺麗におとなしく遊べないのかい？
Son: おっかあなんにも知らねえんだから黙ってなよ。六ちゃんが汚れねえのにわけあんだよ。
Son: だって六ちゃん終身懲役だもん。
Son: もう生涯シャバの風に当たれねえ、仕方がねえからイチンチむしろの上へ座ってボーっとしてるしかねえって、可哀想なもんなんだいそこいくとさ、あたいはコソ泥で捕まったミツキの半端懲役だから、外役回されてモッコ担いで土運んだりなんかして、だから着物がすこーしぐらい汚れたってしゃあねえんだよ。
Mother: たくしょうがないねえ。じゃおっかさんがみんなに頼んであげるから、お前も明日から終身懲役にしてもらいな。
Performer: なんてんで、親が子供の罪重くしたりなんかしまして。