Authors:Cuong Manh Nguyen, Lam Viet Phung, Cuc Thi Bui, Trang Van Truong, Huy Tien Nguyen
Abstract:Recent advances in deep learning facilitate the development of end-to-end Vietnamese text-to-speech (TTS) systems that produce Vietnamese voices with high intelligibility and naturalness. However, enabling these systems to speak Vietnamese and English words in the same utterance fluently remains a challenge known as the code-switching (CS) problem in speech synthesis. The main reason is that it is not easy to obtain a large amount of high-quality CS corpus from a Vietnamese speaker. In this paper, we explore the efficacy of three approaches, which are based on the Tacotron-2 end-to-end framework, to build such a Vietnamese TTS system under a limited code-switched data scenario: (1) CS synthesis based on grapheme-to-syllable (G2S), (2) CS synthesis based on speaker embedding, and (3) CS synthesis based on speaker embedding and language embedding. We handle English and Vietnamese words in the code-switched input text by converting them into Vietnamese syllables using our G2S model. For the speaker-embedding based approach, we combine Vietnamese monolingual data in our dataset with an English public dataset to train a multi-speaker Tacotron-2 system. The experimental results show that adding language embedding is effective, and training with character input representations outperforms phonemes. Thus, the speaker and language-embedding based approach achieves strong results in naturalness for CS speech. Besides, the G2S-based CS synthesis also has good results, with almost absolute English pronunciation accuracy.
Code-Switching synthesis based on G2S | Code-Switching synthesis based on character representation | Code-Switching synthesis based on phoneme representation | Code-Switching synthesis based on condition encoder | Text |
---|---|---|---|---|
Tổng thống nga Vladimir Putin . đã cho đạo diễn mỹ Oliver Stone xem một video về không quân nga oanh kích Syria . | ||||
Trận đấu giữa Oscar Dominguez , Dennis Hatch . của châu mỹ , gặp Ralf Souquet và Jayson Shaw của châu âu . được phát sóng trực tiếp trên Sky sports. | ||||
ông bruce , ralston . bộ trưởng bộ việc làm thương mại , và khoa học kỹ thuật tỉnh , bang british , columbia. |
||||
trong cuộc trò chuyện mới đây nhất với trang screen rant , ngôi sao stephen lang , người sắm vai ông lão mù bí ẩn . đã chính thức xác nhận về dự án mới. |
||||
mùa hè qua , công ty cambridge medical robotics của anh cho biết . sẽ tung ra thị trường robot versius. |
||||
Roberto Bertero được sinh ra ở một làng quê dưới chân núi, vì thế, những vùng núi cao hoang dã luôn nằm trong trí tưởng tượng của ông. |
||||
Onsen Hot Pools , Queenstown , New Zealand là nơi du khách có thể ngâm mình dưới bể nước nóng ngoài trời đồng thời ngắm nhìn khung cảnh núi non hùng vĩ. |
||||
Sky Pool, bể bơi vô cực thuộc khu phức hợp căn hộ cao cấp Market Square Tower , Houston, Texas , là điểm đến thu hút nhiều người ưa thích mạo hiểm. |
||||
Ông Miller không tiết lộ thêm bất kỳ thông tin nào khác về kế hoạch của cựu Tổng thống Trump, nhưng cho biết rằng ông Trump đã có các cuộc họp cấp cao tại dinh thự Mara Lago. |
||||
Đại sứ Nga tại Anh Andrei Kelin đã cáo buộc Anh vi phạm một số thỏa thuận quốc tế sau khi London công bố kế hoạch tăng cường năng lực hạt nhân. |
||||
Cùng ngày, Ngoại trưởng Philippines viết trên Twitter rằng ông đang chờ lệnh để gửi phản đối ngoại giao về vụ việc. |
||||
Jia Qingguo, một giáo sư về quan hệ quốc tế tại Đại học Peking nhận định, hai bên cần nhiều thời gian hơn để nhìn lại cuộc gặp cấp cao Mỹ , Trung ở Alaska hồi tuần trước. |
||||
Ngoại trưởng Mỹ Antony Blinken và Cố vấn An ninh Quốc gia Mỹ Jake Sullivan với Ngoại trưởng Trung Quốc Vương Nghị và quan chức ngoại giao cấp cao Dương Khiết Trì. |
||||
Tillaberi nằm trong khu vực ngã ba biên giới của Niger, Burkina Faso và Mali, một điểm nóng về an ninh, thường xuyên xảy ra các vụ tấn công khiến nhiều dân thường thiệt mạng. |
||||
Ông Duckett cũng lưu ý về những câu hỏi thẩm vấn mà sỹ quan Dhillon hỏi bà Mạnh. Trong đó, có câu hỏi liệu Huawei có bán sản phẩm tại Mỹ hay không, và liệu công ty này có kinh doanh ở Iran không. |
||||
Giới chức Olympic và Paralympic Tokyo cho biết khán giả nước ngoài sẽ không được tới Nhật Bản do ảnh hưởng của đại dịch covid mười chín. |
||||
Chelsea đã nhẹ nhàng vượt qua Sheffield United với tỉ số hai không, với các bàn thắng của Norwood ,phản lưới phút hai tư và Ziyech phút chín mươi. Kết quả này giúp thầy trò huấn luyện viên Thomas Tuchel vào bán kết gặp đối thủ lớn nhất trên hành trình là Man City. |
||||
Juventus thua sốc Benevento trong nỗi thất vọng của Ronaldo càng làm tăng tin đồn anh rời Turin. Sếp bự Lão bà lên tiếng về vấn đề này cũng như ghế nóng của Pirlo. |
||||
Trong trận đấu với West Ham, Arsenal đã bị đối phương dẫn trước đến ba không chỉ sau ba mươi hai phút thi đấu. Tuy nhiên, những nỗ lực của Pháo thủ, cùng với đó là một chút may mắn và sai lầm của đối phương đã giúp họ giành lại một điểm ở trận đấu này. |
||||
Đại sứ Kelin đưa ra cáo buộc trên sau khi Thủ tướng Anh Boris Johnson ngày mười sáu tháng ba thông báo nước này sẽ tăng cường năng lực hạt nhân. |