[深度学习 - TTS自学之路] 基于fastspeech2 学习TTS流程以及部分代码梳理

深度学习方案 - TTS流程以及代码梳理 - fastspeech2

参考源码：https://github.com/ming024/FastSpeech2

一、步骤：

1. 前端处理

• 输入文本 text，例如：text = 大家好！
• 文本转拼音，例如：pinyins = ['da4', 'jia1', 'hao3']

from pypinyin import pinyin, Stylepinyins = [p[0]for p in pinyin(text, style=Style.TONE3, strict=False, neutral_tone_with_five=True)]

• 拼音转韵律，例如：phones = ['d', 'a4', 'j', 'ia1', 'h', 'ao3']->'phones = {d a4 j ia1 h ao3}'

for p in pinyins: # lexicon 韵律表字典if p in lexicon:phones += lexicon[p]else:phones.append("sp") # 停顿

• 韵律map成id，例如：sequence = [151, 174, 155, 226, 154, 193]

def text_to_sequence(text, cleaner_names):"""Converts a string of text to a sequence of IDs corresponding to the symbols in the text.The text can optionally have ARPAbet sequences enclosed in curly braces embeddedin it. For example, "Turn left on {HH AW1 S S T AH0 N} Street."Args:text: string to convert to a sequencecleaner_names: names of the cleaner functions to run the text throughReturns:List of integers corresponding to the symbols in the text"""sequence = []# Check for curly braces and treat their contents as ARPAbet:while len(text):m = _curly_re.match(text)if not m:sequence += _symbols_to_sequence(_clean_text(text, cleaner_names))breaksequence += _symbols_to_sequence(_clean_text(m.group(1), cleaner_names))sequence += _arpabet_to_sequence(m.group(2))text = m.group(3)return sequence

2. 声学模型 Fastspeech 2

• 模型主要由三部分组成，encoder、adaptor、decoder；
• encoder：韵律转换成数字信号后作为模型输入；

output = self.encoder(texts, src_masks)

• VarianceAdaptor：输入音色 speaker、音高 pitch、音量 energy、语速 duration以及encoder部分的output； # speaker 这个源码里面加入multi-speaker TTS，即可以切换多个人的声音进行输出。

多人数据训练，通过参数speaker的调节音色。Alshell3 数据集由多个人的音色。

{"SSB1781": 0, "SSB1274": 1, "SSB1585": 2, "SSB1055": 3, "SSB1020": 4, "SSB0668": 5, "SSB1625": 6, ...} # speaker.json文件

p_control, e_control, d_control 作为音高、音量、语速的参数输入，输出合成的梅尔频谱（频谱包含时长信息）。

个人猜测这一块的作用决定了音频最终的音色、音高、音量、语速。可以通过这块调节，不同音量、语速或者个性化声音。

if self.speaker_emb is not None: # output = output + self.speaker_emb(speakers).unsqueeze(1).expand(-1, max_src_len, -1) # 将speaker加入encoder的output作为variance_adaptor部分的输入(output, p_predictions, e_predictions, log_d_predictions, d_rounded, mel_lens, mel_masks) = self.variance_adaptor(output, src_masks, mel_masks,
max_mel_len, p_targets, e_targets, d_targets, p_control, e_control, d_control)

• decoder：将variance_adaptor的输出进行解码，生成梅尔频谱（维度一般为 T*80）或声波（维度一般为T * hop_size）。

fastspeech2 最终输出mel-spectrogram 梅尔频谱，梅尔频谱并不能直接生成音频，它需要再重构才能生成声波，进而生成音频，所以生成的梅尔频谱还需要经过声码器 vocoder，才能得到waveform。(mel-gan 、hifi-gan…)；

而fastspeech2S 将声码器一起端到端训练，最终直接输出声波/音频。（2s找不到开源源码）

声波维度T * hop_size：这实际是一个上采样的过程，上采样的倍数为hop size*，*即一帧梅尔频谱特征要还原生成hop size个采样点； 如果音频采样率为22050，hop size设为256，则上采样的倍数为256。

output, mel_masks = self.decoder(output, mel_masks)
output = self.mel_linear(output) 
postnet_output = self.postnet(output) + output # 这个应该就是输出的梅尔频谱，原论文没有postnet，这层结构是源码作者自己加上的return (output, postnet_output, p_predictions, e_predictions,log_d_predictions, d_rounded, src_masks, mel_masks, src_lens, mel_lens,)

3. 声码器 vocoder - mel2wav

• 声码器的作用：决定了合成音频的音质高低。
• 个人猜测声码器可以解决合成的音频有噪声/人声不干净、人声不自然等情况，即训练作用：起润色音频（去噪、声调），而音频的音色、音高、音量、音速主要还是取决于声学模型。
• 源码中提供了两种声码器， MelGAN 、 HiFi-GAN vocoder，我这边尝试的是hifi-gan。
• 这个TTS源码中没有声码器训练的部分代码，higi-gan原始仓库：https://github.com/ranchlai/hifi-gan；

声码器的输入：梅尔频谱 - 一般为 T*80 ； 如 T为频谱长度，与音频长短相关。

声码器的输出：声波 - 一般为 T * hopsize （T在频谱上有）。waveform 长度：lengths = T * preprocess_config [“preprocessing”] [“stft”] [“hop_length”]

sampling_rate = preprocess_config["preprocessing"]["audio"]["sampling_rate"] # 加载配置-采样率
wavfile.write(os.path.join(path, "{}.wav".format(basename)), sampling_rate, wav) # 保存音频 （, lengths）