Cross-Lingual TTS for Indian Languages: A Benchmark and Inference-Time Duration Estimation Strategies

Cross-lingual TTS evaluation (English Reference and Indic Generation) across Indian languages

Language Direction Reference TextGenerated TextModelReference Audio F5-TTSModified F5-TTSHeuristic-1Heuristic-2
English → Kannada Anthony learnt a lesson from this incident. ಈಗ ನಾವು ನೋಡ್ತಿರೋ ಈ ಜಗತ್ತು ಅಸಂಖ್ಯಾತ ತಲೆಮಾರುಗಳ ಅವಶೇಷಗಳ್ಮೇಲೆ ನಿರ್ಮಾಣ ಆಗಿರೋದು ಅಂತ ಅರಿವಾದಾಗ ನಾವ್ ಎಷ್ಟ್ ಮಾತ್ರದೋರು ಅನ್ಸ್ಬಿಡತ್ತೆ. Bilingual
Multilingual
English → Telugu It is unwise to choose another leader, when vulture is still alive. అబ్బో, నా స్టాక్లు ఆకాశాన్నంటుతున్నాయి! ఇది నా పోర్ట్ఫోలియోకు గొప్ప వార్త. Bilingual
Multilingual
English → Tamil The carts move on until the last cart stood where the first had been. ஆயிரத்து தொள்ளாயிரத்தி எழுபத்தி ஓராம் ஆண்டுக்கான தாதாசாகேப் பால்கே விருது அவருக்கு மரணத்திற்குப் பின் வழங்கப்பட்டது. Bilingual
Multilingual
English → Hindi But a man must enjoy his wealth in small doses. जिसकी वजह से बहुत ज़्यादा ईशू हुआ उसके बाद हम लोग अंदर गए तो वहाँ के जो कर्मचारी थे जो हमें एक चेयर दिखा रहे थे उनका भी बिहेवियर उतना ठीक नहीं था Bilingual
Multilingual
English → Malayalam But the wise jackal then said, Friend, I know you are sincere. നമുക്ക് വാട്സ്ആപ്പ്, ഫേസ്ബുക്ക്, ഇൻസ്റ്റഗ്രാം, യൂട്യൂബ് എന്ന് പറഞ്ഞ പോലെ ഒരുപാട് സമൂഹമാധ്യമങ്ങൾ ലഭ്യമാണ് Bilingual
Multilingual
English → Punjabi At first he puzzled over something untowards he was sure had happened. ਮੇਰੇ ਚਾਰ ਡੱਬੇ ਹਰੀ ਦਰਸ਼ਨ ਸਾਈਂ ਮੋਗਰਾ ਅਗਰਬੱਤੀ ਦੇ ਚਾਰ ਆਰਡਰ ਵਿੱਚ ਮਿਲੀ ਹੋਈ ਮਾਤਰਾ ਸਹੀ ਨਹੀਂ ਹੈ। Bilingual
Multilingual
English → Bengali The danger comes when one eats what is not food for him বাঃ, আমার জন্য এই ভাড়া বাড়িটি খুঁজে বের করার জন্য ব্রোকারেজ পরিষেবাগুলোর যে দামের ধাপে ধাপে কাঠামো রয়েছে, সেটার পিছনে সত্যিই ভাবনা চিন্তা আছে। Bilingual
Multilingual
English → Odia The judges ordered him to return the boy to the merchant. କାଶ୍ମୀରର ଗ୍ରାମାଞ୍ଚଳର ଶାନ୍ତ ବାତାବରଣ ଅତ୍ୟନ୍ତ ପ୍ରାଣସଞ୍ଚାରକାରୀ। Bilingual
Multilingual
English → Marathi However, we need a very intelligent person. त्यामुळे हे कृत्य करण्यात आले असावे अशी शक्यता वर्तवली जात आहे . Bilingual
Multilingual

Cross-lingual TTS evaluation (Indic Reference and English Generation) across Indian languages

Language Direction Reference TextGenerated TextModelReference Audio F5-TTSModified F5-TTSHeuristic-1Heuristic-2
Kannada → English ಇದು ಜುಜುಟ್ಸುವಿನ ವಿವಿಧ ಶೈಲಿಗಳು ಅಥವಾ ಪ್ರಕಾರಗಳಿಗೆ ಸಹ ಅನ್ವಯವಾಗುತ್ತದೆ. He should bite off the strings of the hunter's net. Bilingual
Multilingual
Telugu → English ఎంత ఈదినా ఏం ఫాయిదా, ఎక్కడా తీరం కనపడదు. He lit a small fire, with dry twigs, and asked the hunter, to warm himself. Bilingual
Multilingual
Tamil → English தாத்தா, பாட்டி சதாபிஷேகத்திலே ஆசீர்வாதம் வாங்கினது எனக்கு ரொம்ப சந்தோஷம். She saw that her neighbour had a grinding-stone with which she ground the wheat into flour. Bilingual
Multilingual
Hindi → English इस समय प्रचालन बहुत तेज़ी से है और यहाँ के लोग शादी विवाहों में भी यही खाना The cook went to the king, who came himself to find out about this. Bilingual
Multilingual
Malayalam → English ഫ്രെഷോ സിഗ്നേച്ചർ' പ്ലെയിൻ ബ്രെഡ് സ്റ്റിക്കുകൾ എന്‍റെ ഐറ്റം ലിസ്റ്റിൽ നിന്ന് ഒഴിവാക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു That is the difference between a learned person and an unlettered man. Bilingual
Multilingual
Punjabi → English ਸਾਡੇ ਕੇਕ ਦੀ ਗੁਪਤ ਸਮੱਗਰੀ ਤੋਂ ਖੁਸ਼ੀ ਨਾਲ ਹੈਰਾਨ ਹੋਣਾ, ਇਹ ਸੁਆਦ ਨੂੰ ਵਧੀਆ ਬਣਾ ਦੇਵੇਗਾ There are two wrong ways and only one right way. Bilingual
Multilingual
Bengali → English সিকিম সহ উত্তর পূর্বাঞ্চলের আটটি রাজ্যই এই উৎসবে অংশ নিচ্ছে। The kite addressed the sage and said, Sage, you have hit me with a stone, which is not proper Bilingual
Multilingual
Odia → English ପଥପ୍ରାନ୍ତ ନାଟକ, ତମାସା, ନୌଟଙ୍କି ଇତ୍ୟାଦି ନାମରେ ଜଣାଯାଇଥାଏ । The crane accepted the invitation and reached the fox's place at sunset. Bilingual
Multilingual
Marathi → English गेल्या तीन महिन्यांत पाऊसच झाला नाहीये. या महिन्यात पैसे नाही कमवू शकणार आपण. This he did until he had eaten all the Fishes in the pond. Bilingual
Multilingual