[发明专利]一种视频处理方法、装置和用于视频处理的装置

权利要求书

1.一种视频处理方法，其特征在于，所述方法包括：

对视频进行图像处理，以得到所述视频对应的唇部图像序列；

根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，在唇语识别过程中，识别唇部图像序列对应的语言种类，根据识别的语言种类，切换唇语识别模型以及解码网络的种类；所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；所述文本信息以及所述语音信息与所述唇部图像序列对应的语言种类相匹配；

输出所述唇部图像序列对应的内容。

2.根据权利要求1所述的方法，其特征在于，所述根据所述唇部图像序列，生成所述唇部图像序列对应的内容，包括：

对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息；

对所述文本信息进行语音合成，生成所述唇部图像序列对应的语音信息。

3.根据权利要求2所述的方法，其特征在于，在生成所述唇部图像序列对应的语音信息之后，所述方法还包括：

对所述语音信息与所述视频进行匹配合成，生成新的音视频文件。

4.根据权利要求1所述的方法，其特征在于，所述对视频进行图像处理，以得到所述视频对应的唇部图像序列，包括：

对所述视频的图像帧逐帧进行图像检测，以确定所述图像帧中是否包含唇部区域以及唇部区域的位置；

根据包含唇部区域的图像帧、以及所述唇部区域在图像帧中的位置，确定所述视频对应的唇部图像序列。

5.根据权利要求2所述的方法，其特征在于，所述对所述唇部图像序列进行唇语识别，以得到所述唇部图像序列对应的文本信息，包括：

确定所述唇部图像序列对应的至少一个字符序列；

根据语言模型，对所述至少一个字符序列进行解码，以得到所述唇部图像序列对应的文本信息。

6.根据权利要求5所述的方法，其特征在于，所述确定所述唇部图像序列对应的至少一个字符序列，包括：

根据所述唇部图像序列中各唇部图像的唇部关键特征点，确定所述唇部图像序列对应的唇形变化序列；

根据唇形与音素之间的对应关系，确定所述唇形变化序列对应的音素序列；

根据发音规则，确定所述音素序列对应的至少一个字符序列。

7.根据权利要求5所述的方法，其特征在于，所述确定所述唇部图像序列对应的至少一个字符序列，包括：

根据唇语识别模型，确定所述唇部图像序列对应的至少一个字符序列；其中，所述唇语识别模型为根据唇部图像样本训练得到的深层神经网络模型。

8.根据权利要求3所述的方法，其特征在于，所述对所述语音信息与所述视频进行匹配合成，生成新的音视频文件，包括：

确定所述唇部图像序列在所述视频中的时间边界信息；

将所述语音信息按照所述时间边界信息合成到所述视频中，生成新的音视频文件。

9.根据权利要求2所述的方法，其特征在于，在得到所述唇部图像序列对应的文本信息之后，所述方法还包括：

根据所述唇部图像序列的时间边界信息，在所述视频中，显示所述文本信息。

10.一种视频处理装置，其特征在于，所述装置包括：

图像处理模块，用于对视频进行图像处理，以得到所述视频对应的唇部图像序列；

内容生成模块，用于根据所述唇部图像序列，生成所述唇部图像序列对应的内容；其中，在唇语识别过程中，识别唇部图像序列对应的语言种类，根据识别的语言种类，切换唇语识别模型以及解码网络的种类；所述唇部图像序列对应的内容至少包括如下任意一种：所述唇部图像序列对应的语音信息、所述唇部图像序列对应的文本信息；所述文本信息以及所述语音信息与所述唇部图像序列对应的语言种类相匹配；

内容输出模块，用于输出所述唇部图像序列对应的内容。