[发明专利]语音对抗样本生成方法及装置、电子设备及存储介质

权利要求书

1.一种语音对抗样本生成方法，其特征在于，包括以下步骤：

接收目标文本，并从所述目标文本中提取文本特征序列；

将所述文本特征序列输入预先训练好的声学模型，得到多维声学参数序列；

将所述多维声学参数序列输入预先训练好的声码器模型，生成语音的时域采样序列，作为目标文本对应的对抗样本，

其中，所述声学模型包括骨干网络、自注意力机制层和全连接层，所述将所述文本特征序列输入预先训练好的声学模型，得到多维声学参数序列，包括：

将所述文本特征序列输入骨干网络中，得到中间多维声学参数序列；

将中间多维声学参数序列输入自注意力机制层，得到向量相关性矩阵和中间多维声学参数矩阵；

将向量相关性矩阵和中间多维声学参数矩阵输入全连接层，得到多维声学参数序列，

其中，所述将中间多维声学参数序列输入自注意力机制层，得到向量相关性矩阵和中间多维声学参数矩阵，包括：

对于中间多维声学参数序列中的向量，分别乘以三个权重系数得到三个向量：

根据中间多维声学参数序列中向量对应的形成矩阵Q；

根据中间多维声学参数序列中向量对应的形成矩阵K；

根据中间多维声学参数序列中向量对应的形成矩阵V，作为中间多维声学参数矩阵；

根据矩阵Q和矩阵K计算中间多维声学参数序列中每两个向量之间的相关性：

其中，为中间多维声学参数序列中第i个向量与第j个向量之间的相关性；为中间多维声学参数序列中第i个向量乘以得到的向量，为中间多维声学参数序列中第j个向量乘以得到的向量；

对形成的矩阵A进行归一化操作，得到矩阵，作为向量相关性矩阵。

2.根据权利要求1所述的方法，其特征在于，所述将向量相关性矩阵和中间多维声学参数矩阵输入全连接层，得到多维声学参数序列，包括：

其中，Y为多维声学参数序列，矩阵V为中间多维声学参数矩阵，矩阵为向量相关性矩阵，FCN为全连接层。

3.根据权利要求1所述的方法，其特征在于，所述声码器模型通过以下步骤训练得到：

以多维声学参数序列Y作为输入，以时域采样序列作为输出训练神经网络模型，得到声码器模型。

4.根据权利要求1所述的方法，其特征在于，通过以下表达式训练所述声学模型：

其中，为声学模型训练损失函数，为权重系数，为第k帧第q类声学参数的真实向量，为第k帧第q类声学参数的模型实际预测向量。

5.根据权利要求4所述的方法，其特征在于，所述第k帧第q类声学参数的真实向量通过以下步骤得到：

对目标文本对应的真实语音提取声学参数，其中，所述声学参数包括梅尔频率倒谱系数、线性频率倒谱系数、线性预测系数和常数Q变换倒谱系数中的至少两种；

将不同种类的声学参数按帧为单位进行拼接操作，得到第k 帧真实多维声学参数序列；

从第k帧真实多维声学参数序列中获取第q类声学参数的真实向量。