一、资料推荐
爱丁堡大学课程(全英文,有能力的推荐学习一遍):https://speech.zone/courses/speech-synthesis/
TensorflowTTS(比较系统的开源项目):https://github.com/TensorSpeech/TensorFlowTTS
二、基础概念介绍
1、时域:波形的振幅、频率;
2、频域:
- 傅里叶变换:每个复杂的波形都可以由不同频率的正弦波组成;
- 语谱(spectrum):描述了信号包含的频率成分和它们的幅度;
- 语谱图(spectrogram):语谱随时间的变化,也称为频谱图;
推荐使用Adobe Audiotion工具来查看音频信息:
三、语音基本信息
思考一下,一段语音中包含了什么信息呢?
语音任务:身份识别、语种识别、语音识别、情感识别、语音增强分离等;
四、语音生成
一段语音的生成其实是音素的构成,下面介绍关于音素的一些概念:
1、音素:一种语言中语音的”最小”单元,在声学上也称为Phone;
2、IPA:国际音标,统一一套体系标注标准;
3、音节:元音和辅音结合构成一个音节;
4、协同发音:音素在声学上的实现和上下文强相关,往往我们需要采用上下文模型;
5、音素抄本:一段语音对应的音素列表(带或不带时间边界),时间边界可由人工标注或自动对齐获得,用于声学与时长模型,这里也是一种标注信息;
五、语音合成简述
1、热门研究方向
- 语音转换:说话人转换、语音到歌唱转换、情感转换、口音转换等;
- 歌唱合成:文本到歌唱的转换;
- AI虚拟人:可视化语音合成的技术,现在热门的元宇宙就依赖语音合成技术;
2、应用方向
- 语音交互:机器人领域、智能车;
- 内容生成:有声读物,微信听书等;
- 辅助功能:对障碍人士起到辅助功能,能够让他们发声;
3、难点
文字—>波形:
-
一到多且不等长的映射;
-
局部+全局依赖性;
评价指标:
- 只能根据听感来判断,有比较明显的主观性;
实际应用:
- 小样本(数据量少)
- 语音质量低,有噪声;
- 实时性和效果的平衡;
- 需要具有可控性且有表现力;
- 具备多语种、跨语言的能力(中英混合);
4、现代语音合成技术
端到端级的语音合成架构:
上述描述了当前主流的一些端到端级的语音合成方法组合,
当前的TTS主要架构:NLP + Speech Generation(文本分析到波形生成)
六、文本分析
主要有以下几个方面处理:
- 断句:基于规则或基于模型来断句;
- 文本归一化(TN):消除非标准词在读音上的歧义,例如数字、缩写、符号等(基于规则或模型)
- 分词和词性标注:有时候分词错误会造成歧义;
- 注音:Grapheme to phoneme(G2P)也就是文本转音素,解决多音字、儿化音、变调问题;
- 韵律分析:Prosody(反映在能量、基频、时长上),句调、重读、韵律边界预测(停顿);
具体例子如下:
七、语音合成方法
1、波形拼接合成(单元选择合成)
优点:高质量、高自然度;
缺点:需要大音库,一致性差,可控性差,通常只能在线使用;
原理:从音库中选择”最佳”路径上的单元进行拼接,使得目标代价和连接代价最低;
2、基于轨迹指导的拼接合成
方法:基于参数语音合成的轨迹指导单元合成;
优点:相对平滑和稳定的参数轨迹,又能保证比较自然的音质;
3、统计参数语音合成(SPSS)
第一步是帧级的建模:
- 时长模型:音素序列 ——> 帧级文本特征;
- 声学模型:帧级文本特征 ——> 帧级语音输出;
第二步是训练数据:
- 利用语音识别强制对齐,得到音素帧级对应关系;
最常见的模型是基于HMM的SPSS:
优点:系统存储空间小,灵活度高(可参数调节),语音平滑流畅,适合离线、嵌入式设备;
缺点:合成语音音质受限,合成的韵律平淡;
实现步骤:
提参——训练数据帧级对齐——单音素HMM——三音素HMM——决策树聚类——优化
4、基于神经网络的语音合成
HMM存在问题:
利用上下文信息不足,决策树聚类对模型来说不够精细;
DNN优点:
神经网络能够拟合任何的函数映射,替代决策树模型,增加语音合成的表现力;
方案:将HMM替换为DNN,自然都得到一定的提升;
5、声码器
功能:提取语音参数,合成还原语音波形;
常见传统声码器:HTS、World等;
像一些基于神经网络的声码器将在后续进行介绍,相对来说传统声码器会造成一定损失,神经网络的声码器效果会好一些,但大小和耗时会更大;
6、端到端神经网络
定义:并不是完全端到端,是一套序列到序列(seq2seq)模型;
编码器——解码器架构:解决了对齐问题,但信息过度压缩;(M—>1—>N)
编码器——注意力机制——解码器架构:保留了全部编码信息,注意力机制是一种查表工具(M—>M—>N)
主流模型:Tacotron、Tacotron2、Transformer TTS
7、神经声码器
定义:利用神经网络强大的非线性拟合能力从语音特征转换为语音波形(采样点)
目前有两种主流方案:
① DSP+NN:传统信号处理和神经网络结合;
② GAN:生成效率很高,并且质量也不错;
左边一列表示合成质量,右边一列表示合成成本,从图中来看,采用GAN的声码器效果和性能上比较好;
八、语音合成前沿探索
有以下几个热门研究方向:
1、小样本训练;
2、增加对情感等信息的可控性;
3、完全端到端;
4、抗噪;
5、语音转换;
6、唱歌合成;
九、语音合成评估
1、文本分析(前端)模块
主要关注以下一些客观指标
2、声学模型模型及声码器(后端)模块
主观指标:
- 从测试集考察语音的”还原度”;
- 从集外数据考察泛化能力,以及对场景的覆盖能力;
- MOS打分;
客观指标:
- 时间等长:用原始语音的单元时长,计算差异;
- 时间不等长:时间对齐,对局部差异求和;
十、语音合成语料库
对常见语料库总结如下图:
总结
本篇是对语音合成的一个综述,实际上对于刚接触TTS领域的来说,对很多概念并不能完全理解;并且搜索引擎中对于语音合成的总结并不多,也由于TTS是比较小众的一个技术;通过本篇希望读者对于常见的概念,以及TTS的具体任务和发展有一定掌握;