IndexTTS: An Industrial-Level Controllable and Efficient Zero-Shot Text-To-Speech System

Index SpeechTeam

Paper Introduction

Abstract: Recently, large language model (LLM) based text-to-speech (TTS) systems have gradually become the mainstream in the industry due to their high naturalness and powerful zero-shot voice cloning capabilities. Here, we introduce the IndexTTS system, which is mainly based on the XTTS model. We add some novel improvements. Specifically, in Chinese scenarios, we adopt a hybrid modeling method that combines characters and pinyin, making the pronunciations of polyphonic characters and long-tail characters controllable. We also performed a comparative analysis of the Vector Quantization (VQ) with Finite-Scalar Quantization (FSQ) for codebook utilization of acoustic speech tokens. To further enhance the effect and stability of voice cloning, we introduce a conformer-based speech conditional encoder and replace the speechcode decoder with BigVGAN2. Compared with XTTS, it has achieved significant improvements in naturalness, content consistency, and zero-shot voice cloning. As for the popular TTS systems in the open-source, such as Fish-Speech, CosyVoice2, FireRedTTS and F5-TTS, IndexTTS has a relatively simple training process, more controllable usage, and faster inference speed. Moreover, its performance surpasses that of these systems.

Zero-Shot TTS Comparison With Others(Open-source data)

Speaker	Prompt	Text	IndexTTS	XTTS	CosyVoice2	FireRedTTS	F5-TTS	FishSpeech
Speaker-1		Old will is a fine fellow but poor and helpless since missus rogers had her accident.
Speaker-2		Silvia was the adoration of france and her talent was the real support of all the comedies which the greatest authors wrote for her especially of the plays of marivaux for without her his comedies would never have gone to posterity.
Speaker-3		次年改工科都给事中。
Speaker-4		我们更决心加强于强化规则无论是在国际间或是各国之内。
Speaker-5		又一次引爆坊间议论。
Speaker-6		都说下属有困难找领导。
Speaker-7		It is indeed true that the importance of tact and skill in the training of the young and of cultivating their reason and securing their affection can not be overrated.
Speaker-8		探索实施报废更新补助。
Speaker-9		探索实施报废更新补助。
Speaker-10		一向都是在圈子中人缘甚佳的谢天华。
Speaker-11		高雄币一词最早由高雄市议员吴益政提出。
Speaker-12		Those clouds seem as if they were going to crush the sea.
Speaker-13		长圆叶新木姜子为樟科新木姜子属下的一个种。
Speaker-14		其搏击技能之全面精湛格斗天赋之卓越令人惊叹。
Speaker-15		如何重修与中国政府的良好关系。

Zero-Shot TTS Comparison With Others(Self-collected data)

Speaker	Prompt	Text	IndexTTS	XTTS	CosyVoice2	FireRedTTS	F5-TTS	FishSpeech
Male-1		随着人工智能的不断发展，机器学习和深度学习已经开始应用于各行各业，未来的工作方式和生活方式将由这些技术彻底改变，智能化时代即将来临。
Male-1		你知道吗？每天喝一杯柠檬水不仅能帮助消化，还能促进皮肤健康，成为一个简单又有效的日常保养方法，让你从内而外散发自然光彩。
Male-2		《英雄联盟》的新赛季更新带来了全新的英雄和装备，很多玩家都在探索新的玩法策略，但最重要的还是如何提高自己的操作和思维，才能在游戏中脱颖而出。
Male-2		每天坚持适量的运动不仅能帮助我们保持健康的体重，还能增强心肺功能，释放压力，保持愉悦的心情，是保持身体和心理平衡的重要途径。
Female-1		从古代丝绸之路到现代的全球化，文化交流促进了不同文明之间的碰撞与融合，历史的进程告诉我们：开放与交流是人类发展的动力源泉。
Female-1		大学生活不仅是知识的汲取，还是自我发现的过程，除了课本上的知识，校园里的社交、活动和体验也塑造了一个更为立体的你，成为人生中最宝贵的一部分。
Female-2		从物物交换到数字货币，货币的演变跨越了几千年，见证了人类社会的发展与进步，今天的金融世界正是在这些变革中形成的，影响深远且复杂。
Female-2		成功并非一蹴而就，而是通过坚持不懈的努力与自我反思，不断调整方向，逐步实现目标，唯有经历过失败与挑战，才能在最终迎来属于自己的胜利。
Child-1		最近热议的明星跨年晚会表演真是各具特色，不仅有惊艳的舞蹈和音乐，还不乏意外的幕后小故事，娱乐圈的动态真是每天都能带给我们新鲜的看点。
Child-1		如果你是吃货，绝不能错过这家隐藏在巷子里的餐厅，独特的配料和秘制酱料让每道菜都别具一格，吃上一口就让人欲罢不能，真的是一次舌尖上的享受。

Speaker With Supervised Fine-Tuning

Speaker	Text	IndexTTS-Audio
Male-1	最新的全球气候变化报告指出，极端天气事件将越来越频繁，世界各国都需要采取紧急行动，减缓温室气体排放，保护地球的生态平衡。
	如果你是吃货，绝不能错过这家隐藏在巷子里的餐厅，独特的配料和秘制酱料让每道菜都别具一格，吃上一口就让人欲罢不能，真的是一次舌尖上的享受。
	成功并非一蹴而就，而是通过坚持不懈的努力与自我反思，不断调整方向，逐步实现目标，唯有经历过失败与挑战，才能在最终迎来属于自己的胜利。
	那次独自旅行至西藏的经历让我至今难以忘怀，辽阔的天空和雪山让人感受到大自然的壮丽，平静的湖泊和安静的村庄也让我体会到内心的平和。
	随着全球化的发展，各国之间的文化交流愈加频繁，语言、风俗、饮食等方面的差异逐渐被人们接受和理解，跨文化的沟通成为了构建和谐国际关系的重要纽带。
	这部电影，无论是从剧情的张力、人物的塑造，还是主题的深刻性，都堪称电影史上的一部巨作。如果你还没有看过，赶紧补上这部经典之作吧！
	到了公元前7世纪，希腊和吕底亚地区率先铸造出了金属硬币。这下，货币终于有了标准化，不仅更便于交易，而且铸币可以带上政府印章，代表一定的价值。于是，各个国家开始铸造自己的货币，货币逐渐走向全球化。
	进入19世纪，金本位制度出现了。什么是金本位呢？简单来说，就是货币的价值跟黄金挂钩，各国的货币价值由黄金来保障。不过，到了20世纪，尤其是两次世界大战之后，金本位制度逐渐瓦解，世界大多数国家开始使用法币，也就是货币的价值不再跟黄金挂钩，而是由政府的信用和经济实力来支撑。
	这首诗分为两部分：一开始，陶渊明通过自己辞去官职，选择回归田园生活，表达了他对官场争斗的厌倦。他希望能够在自给自足的田园中找回心灵的宁静。接着，诗人描写了田园的美好景象，尤其是在春天，农田的景色十分迷人。诗中最后的几句更是展现了陶渊明内心的坚守和对自我精神世界的追求。
Female-1	往南到了乌镇，这边的年味儿特别温柔细腻。刚进古镇，就被一股淡淡的米香勾住了魂，老板娘递给我一个粉嫩嫩的定胜糕，说“吃了这个，新年稳赢！”那我还客气啥，直接两口一个，糯叽叽的口感，配上甜甜的豆沙馅，嘴角直接笑出花儿来！还有糯米藕，炖得透透的，每一口都是软糯香甜，年味儿直接拉满！
	从江南慢悠悠地晃到四川，年味儿瞬间变得“爆裂”起来！成都的年三十，没什么比吃顿火锅更有仪式感的了！红油锅一端上来，光是闻着都要流口水，毛肚7秒涮，黄喉3秒滚，蘸上干碟，那个麻辣鲜香直接刺激味蕾，辣得我嘴唇都在发麻！吃完火锅，必须来碗甜水面，面条宽得像皮带，裹满香甜的酱汁，一口咬下去，甜辣交织，人生巅峰！
	年初一，我杀到广州，一下飞机就直奔茶楼，体验一把广东人的年味儿！广式早茶果然讲究，肠粉薄得透光，入口滑得差点夹不住，叉烧包甜甜的，吃完一个还想再来一笼！再配上一杯热腾腾的普洱茶，这就是广式“慢生活”的精髓啊！新年第一天，从容又满足，绝了！
	这一圈吃下来，我不仅体重直线飙升，连灵魂都被喂得服服帖帖！春节的意义，不就是和最亲近的人一起，围着一桌美食，感受那份浓浓的团圆和幸福嘛？各位！你们今年吃了什么？评论区快给我种草，等我下次出发继续干饭！
	等所有海鲜搞定，直接拎着大袋子回家开整！蒸螃蟹的时候，黄油般的蟹膏慢慢化开，随便一挖，那个鲜味直接冲击灵魂！皮皮虾上桌，一掰壳，肉嘭地弹出来，蘸点蒜蓉酱油，香甜多汁，根本停不下来！最绝的还是石斑鱼，清蒸一出锅，筷子轻轻一拨，鱼肉滑嫩到入口即化，鲜得我眼泪都要掉下来！
	家人们，逛海鲜市场真的太有成就感了！自己挑、自己做，吃着特别香，关键是比饭店便宜一大截！嘿嘿，下次我一定要挑战更硬核的海鲜，比如帝王蟹、象拔蚌、龙趸鱼！谁有更好的海鲜市场推荐，快在评论区告诉我，我这张嘴随时待命！
	家人们，逛海鲜市场真的太有成就感了！自己挑、自己做，吃着特别香，关键是比饭店便宜一大截！嘿嘿，下次我一定要挑战更硬核的海鲜，比如帝王蟹、象拔蚌、龙趸鱼！谁有更好的海鲜市场推荐，快在评论区告诉我，我这张嘴随时待命！
	到了日本，第一件事必须是——找一家小破店吃拉面！面端上来的那一刻，空气里全是浓郁的汤底香气，我一口吸溜进去，配上溏心蛋，直接升天！吃完拉面，路过便利店，结果一进去就出不来了！雪糕、饭团、关东煮，随手拿了五六样，站在门口边吃边感叹：日本的便利店，根本就是深夜食堂，太治愈了！
	巴黎的清晨，当然要拿着一个热乎乎的可颂，再配一杯拿铁，找个露天咖啡馆一坐，装模作样地翻几页书，假装自己是文艺青年。旁边的法国人悠悠哉哉地聊天，街头艺人在拉小提琴，风一吹，我真以为自己是电影女主角了！不过，说实话，这可颂是真的香，外酥里嫩，奶香四溢，一口咬下去，快乐值飙升！

Controllability: Control The Pronunciation By Pinyin

Example	Text	IndexTTS-Audio
Example-1	疫情让每一位默默奉献的人们在历史上写下重重的一笔
Example-1	疫情让每一位默默奉献的人们在历史上写下zhong4 zhong4的一笔
Example-2	二零一三年二月二十五日,什班巴正式和中国足球甲级联赛球队河南建业签约
Example-2	二零一三年二月二十五日,shi2班巴正式和中国足球甲级联赛球队河南建业签约
Example-3	'晕眩,感觉',晕眩是一种感觉,一种由于某种刺激对事态失去控制之后的反应
Example-3	yun4眩,感觉', yun4眩是一种感觉,一种由于某种刺激对事态失去控制之后的反应
Example-4	宿将今已老
Example-4	宿jiang4今已老
Example-5	这北京城里无故的折堕杀了丫头
Example-5	这北京城里无故的she2堕杀了丫头

Controllability: Emotionally Expressive Speech Generation

Emotion	Speaker	Text
Neutral	Speaker-1	每天傍晚，他都会坐在阳台上看书，旁边放着一杯热茶。
	Speaker-2	电脑屏幕前，他安静地敲打着键盘，完成了今天的工作任务。
	Speaker-3	听着轻柔的音乐，品尝一杯香浓的咖啡，我的内心感到无比的宁静和愉快。
Happy	Speaker-1	在海边度假的时候，看到日出时那壮丽的景象，金色的阳光洒在波涛上，我心里涌起一阵说不出的喜悦，觉得这一刻真是美好极了。
	Speaker-2	今天的阳光洒在身上，感觉整个人都充满了活力和快乐。
	Speaker-3	当我发现自己中了彩票头奖时，简直不敢相信自己的眼睛，这种喜悦和激动的感觉真是难以用言语表达。
Fear	Speaker-1	听着暴风雨在窗外咆哮，小丽蜷缩在床上，害怕得连呼吸都不敢太大声。
	Speaker-2	每一次经过那条昏暗的小巷，我总是加快脚步，心里紧张得像有只小鹿在乱撞，生怕突然冒出什么不测的事情。
	Speaker-3	当我独自面对黑暗，心跳声在寂静中回响，恐惧如潮水般涌来。
Sad	Speaker-1	明明付出了所有的真心，却换来了遍体鳞伤，让我不得不怀疑，究竟是哪里出了错。
	Speaker-2	自从你离开后，我总感觉生活像失去了色彩，每天像是行尸走肉般地度过，再也找不到那份曾经的温暖与安慰。
	Speaker-3	每当夜深人静的时候，我总会想起我们曾经的那些约定，现在却成了永远无法兑现的诺言。
Angry	Speaker-1	你竟敢在背后搞这种小动作，真是让人恨得牙痒痒，迟早有一天我要让你付出代价。
	Speaker-2	你们不过是几条狗腿子，能有什么价值！
	Speaker-3	你背叛我这么多次，我早就忍无可忍了，从此我们恩断义绝。