[发明专利]一种参数管理方法、系统、介质和设备

说明书

本发明提出一种参数管理方法、系统、介质和设备，包括：获取神经网络处理参数；对所述处理参数中的权重进行筛选，并根据筛选后的权重对输入的声音信息进行处理，获取声音合成信息；本发明可有效提高神经网络的处理速度且便于问题追溯及定位。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种参数管理方法、系统、介质和设备。

背景技术

由于合成的目标声音信号在时间维度上具有很强的关联性，因此包括Tacotron2在内的seq2seq的声音合成方案会使用解码器上一时刻的输出声音的频域信息作为注意力机制的查询变量获取下一时刻声音合成的上下文作为输入信息。一般情形下，会在查询之前使用一个小网络对上一时刻输出的声音频域信息进行抽取来获得更加有效的信息，这个前置的小网络称作pre-net。

在模型训练初期，解码器输出的上一时刻声音的频域信息误差非常大，而seq2seq解码器使用的包括循环神经网络(RNN)、卷积神经网络(CNN)等时序建模网络具有比较长的时间跨度，使得在时间方向上具有严重的误差累积效应，最终导致模型收敛比较困难。

为克服模型收敛困难这一问题，通常采用老师强制方法(teacher-forced)来训练，即使用真实的有效值(ground truth)来代替上一时刻的输出声音的频域信息，但这会使得神经网络在训练时依赖于teacher-forced使用的ground truth和神经网络过拟合等问题。因此，在前置小网络里引入dropout算子来引入噪声扰动迫使前置网络克服这种依赖行为，使其转而更多从prenet中抽取更加本质的信息和从encoder的memory中学习。

由于dropout算子推理时计算特性不再引入噪声扰动，使得推理时解码器完全依赖于上一时刻声音的频域信息，而seq2seq的起始状态是零状态，这种过分的依赖性使得解码器很难进入到可以正常工作的状态。Tacotron2论文声称为了声音合成的随机性，在模型推理时dropout算子依旧使用训练时的计算方法，这将导致实际生产的多个问题：(1)声音合成时每次得到的结果具有随机性，一旦声音合成失败，问题复现将会非常困难，不利于定位问题。(2)随机数生成具有一定的开销和与此关联的权重内存分布不连续等原因导致推理速度偏慢。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种参数管理方法、系统、介质和设备，主要解决声音合成随机性难以定位问题且推理速度慢的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种参数管理方法，包括：

获取神经网络处理参数；

对所述处理参数中的权重进行筛选，并根据筛选后的权重对输入的声音信息进行处理，获取声音合成信息。

可选地，所述处理参数包至少包括神经网络各层权重、各层的网络节点数。

可选地，所述神经网络包含多个全连接层，在对所述处理参数中的权重进行筛选之前，根据所述多个全连接层的权重创建权重矩阵，并根据所述权重矩阵进行权重筛选。

可选地，对所述权重矩阵进行屏蔽处理，获取筛选后的权重矩阵。

可选地，所述屏蔽处理包括对所述权重矩阵中指定行或列进行屏蔽。

可选地，通过设置屏蔽概率的方式对所述权重矩阵中的行或列进行屏蔽。

可选地，所述神经网络包括循环神经网络、卷积神经网络、长短期记忆神经网络中的一种。

可选地，所述声音信息包括文本信息或声音频域信息。

可选地，所述声音信息为文本信息时，通过所述神经网络的卷积层对所述文本信息进行特征提取，获取声音文本特征，并建立所述声音文本特征与声音频域信息的映射关系；