[发明专利]一种基于多尺度视频特征融合的语音唇读方法及系统

权利要求书

1.一种基于多尺度视频特征融合的语音唇读方法，其特征在于，包括：

S1：获取大量的说话人说话视频数据集；

S2：从获取的视频数据集中提取出视频帧和语音数据，其中，提取出的视频帧为静音的视频帧；

S3：从语音数据中提取出Mel谱；

S4：构建基于多尺度视频特征融合的语音唇读模型，其中，语音唇读模型包括编码器、解码器以及声码器，编码器包括多时间尺度视频划分模块、位置编码模块和多尺度特征融合模块，多时间尺度视频划分模块用于通过不同窗口大小的滑动窗口来构造时间金字塔捕获时间维度的特征，得到不同尺度的特征向量，位置编码模块用于将每个视频片段的位置信息引入到不同尺度的特征向量中，多尺度特征融合模块用于采用局部融合和全局融合结合的方式对带有位置信息的不同尺度的特征向量进行融合，得到融合后的时空向量，多尺度特征融合模块首先利用点乘注意力将同一时间金字塔内不同尺度的视频片段特征进行特征融合，再利用自注意力将各时间金字塔的特征进行融合；解码器用于根据融合后的时空向量重建出语音Mel谱，声码器用于将得到的代表语音的Mel谱转化为语音；

S5：将步骤S2中提取出的视频帧作为训练数据，对语音唇读模型进行训练，将解码器重建出的语音Mel谱和步骤S3中提取出的Mel谱之间的MSE损失最小化为目标，得到训练好的语音唇读模型；

S6：利用训练好的语音唇读模型对输入的视频进行语音识别。

2.如权利要求1所述的语音唇读方法，其特征在于，在将步骤S2中提取出的视频帧作为训练数据，对语音唇读模型进行训练之前，所述方法还包括：

采用人脸对齐工具，检测视频帧中的人脸特征点，并剪裁成预设大小。

3.如权利要求1所述的语音唇读方法，其特征在于，步骤S4中位置编码模块的处理过程包括：

学习一个函数G_spe(·)，将每一个位置索引映射到具有相同长度的片段特征向量中，带有位置信息的特征向量表示为其中，G_spe(·)为一个正余弦函数，两个位置之间的关系能够通过他们位置编码间的仿射变换来建模获得，表示不带位置信息的特征向量，k表示每一帧在序列中的位置。

4.如权利要求1所述的语音唇读方法，其特征在于，步骤S4中的解码器包括一个前处理网络、两层LSTM和一个位置敏感的注意力层。

5.如权利要求1所述的语音唇读方法，其特征在于，步骤S5中以解码器重建出的语音Mel谱和步骤S3中提取出的Mel谱之间的MSE损失最小化为目标，构建MSE损失函数，公式为：

式中，代表模型重建出的语音Mel谱，y_i代表真实语音Mel谱，n代表样本对的个数。

6.一种基于多尺度视频特征融合的语音唇读系统，其特征在于，包括：

视频数据获取模块，用于获取大量的说话人说话视频数据集；

语音分离模块，用于从获取的视频数据集中提取出视频帧和语音数据，其中，提取出的视频帧为静音的视频帧；

语音特征提取模块，用于从语音数据中提取出Mel谱；

语音唇读模型构建模块，用于构建基于多尺度视频特征融合的语音唇读模型，其中，语音唇读模型包括编码器、解码器以及声码器，编码器包括多时间尺度视频划分模块、位置编码模块和多尺度特征融合模块，多时间尺度视频划分模块用于通过不同窗口大小的滑动窗口来构造时间金字塔捕获时间维度的特征，得到不同尺度的特征向量，位置编码模块用于将每个视频片段的位置信息引入到不同尺度的特征向量中，多尺度特征融合模块用于采用局部融合和全局融合结合的方式对带有位置信息的不同尺度的特征向量进行融合，得到融合后的时空向量，多尺度特征融合模块首先利用点乘注意力将同一时间金字塔内不同尺度的视频片段特征进行特征融合，再利用自注意力将各时间金字塔的特征进行融合；解码器用于根据融合后的时空向量重建出语音Mel谱，声码器用于将得到的代表语音的Mel谱转化为语音；

模型训练模块，用于将语音分离模块中提取出的视频帧作为训练数据，将解码器重建出的语音Mel谱和语音特征提取模块中提取出的Mel谱之间的MSE损失最小化为目标，对语音唇读模型进行训练，得到训练好的语音唇读模型；

语音识别模块，用于利用训练好的语音唇读模型对输入的视频进行语音识别。