[发明专利]一种视频数据处理方法、装置、设备及存储介质

权利要求书

1.一种视频数据处理方法，其特征在于，所述方法包括：

确定视频信息，所述视频信息是从预设视频信息中选取出的，所述预设视频信息是对视频数据进行视频和音频分离后所得到的；

确定所述视频信息中视频帧所展示的字幕内容；

至少基于字幕内容对所述视频信息中的视频帧进行归类处理，得到视频帧序列，其中，所述视频帧序列中各视频帧所展示的字幕内容相关联；

确定所述视频帧序列所对应的时间信息，得到所述视频帧序列对应的字幕内容的时间信息，以从所述视频数据的音频信息中确定出与所述视频帧序列所对应的字幕内容相匹配的目标音频信息；

将所述视频帧序列，以及确定出的所述视频帧序列所对应的目标音频信息作为训练数据；或者，将基于所述视频帧序列和所述目标音频信息生成的视频片段作为训练数据；

至少将所述训练数据输入至预设模型，以利用所述训练数据的视频帧中人脸图像的关键点特征与所述目标音频信息的音频特征之间的对应关系对预设模型进行训练。

2.根据权利要求1所述的方法，其特征在于，还包括：

基于所述视频帧序列、所述视频帧序列对应的字幕内容、以及确定出的所述视频帧序列所对应的目标音频信息，生成视频片段；其中，所述视频片段中所述目标音频信息与所述视频片段所呈现的字幕内容相匹配。

3.根据权利要求1所述的方法，其特征在于，还包括：

获取视频数据，其中，所述视频数据中展示有字幕内容；

将所述视频数据中视频和音频进行分离处理，得到视频信息和音频信息；

将分离得到的所述视频信息作为预设视频信息。

4.根据权利要求1所述的方法，其特征在于，所述确定所述视频信息中视频帧所展示的字幕内容，包括：

检测得到所述视频信息的视频帧中字幕内容所处位置；

对所述视频帧中字幕内容所处位置进行文本识别，得到所述视频信息中视频帧所展示的字幕内容。

5.根据权利要求4所述的方法，其特征在于，所述检测得到所述视频信息的视频帧中字幕内容所处位置，包括：

获取文本检测模型；

将所述视频信息的视频帧输入至所述文本检测模型，得到所述视频信息的视频帧中字幕内容所处位置。

6.根据权利要求4或5所述的方法，其特征在于，所述对所述视频帧中字幕内容所处位置进行文本识别，得到所述视频信息中视频帧所展示的字幕内容，包括：

获取文本识别模型；

将所述视频帧中字幕内容所处位置对应的图片输入至所述文本识别模型，得到所述视频帧所展示的字幕内容。

7.一种视频数据处理装置，其特征在于，包括：

视频信息确定单元，用于确定视频信息，所述视频信息是从预设视频信息中选出去的，所述预设视频信息是对视频数据进行视频和音频分离后所得到的；

字幕内容确定单元，用于确定所述视频信息中视频帧所展示的字幕内容；

归类处理单元，用于至少基于字幕内容对所述视频信息中的视频帧进行归类处理，得到视频帧序列，其中，所述视频帧序列中各视频帧所展示的字幕内容相关联；

音频信息确定单元，用于确定所述视频帧序列所对应的时间信息，得到所述视频帧序列对应的字幕内容的时间信息，以从所述视频数据的音频信息中确定出与所述视频帧序列所对应的字幕内容相匹配的目标音频信息；

数据传输单元，用于将所述视频帧序列，以及确定出的所述视频帧序列所对应的目标音频信息作为训练数据；或者，将基于所述视频帧序列和所述目标音频信息生成的视频片段作为训练数据；至少将所述训练数据输入至预设模型，以利用所述训练数据的视频帧中人脸图像的关键点特征与所述目标音频信息的音频特征之间的对应关系对预设模型进行训练。

8.根据权利要求7所述的装置，其特征在于，还包括：视频片段生成单元，用于基于所述视频帧序列、所述视频帧序列对应的字幕内容、以及确定出的所述视频帧序列所对应的目标音频信息，生成视频片段；其中，所述视频片段中所述目标音频信息与所述视频片段所呈现的字幕内容相匹配。