[发明专利]教学视频自动字幕处理方法与系统

权利要求书

1.教学视频自动字幕处理方法，其特征在于，用于服务器，其包括如下步骤：

步骤S1，将预设教学视频拆解为连续图像数据和连续声音数据，并按照所述预设教学视频的播放时间轴信息，将所述连续图像数据和所述连续声音数据分别划分为若干图像帧片段子数据和若干声音片段子数据；

步骤S2，对若干所述声音片段子数据进行语音识别，从而获得关于每一个所述声音片段子数据对应的语音识别数据，并将所述语音识别数据转换为预设语种的文字片段数据；

步骤S3，将所有文字片段数据编辑成为具有预设显示形式的字幕片段数据，并根据所述播放时间轴信息，将所有字幕片段数据添加至其对应的图像帧片段子数据中，再将若干所述图像帧片段子数据与若干所述声音片段子数据重新组合，从而生成带有自动显示字幕的教学视频；

其中，所述步骤S3，将所有文字片段数据编辑成为具有预设显示形式的字幕片段数据，并根据所述播放时间轴信息，将所有字幕片段数据添加至其对应的图像帧片段子数据中，具体包括步骤A1-A2：

步骤A1、将所有文字片段数据编辑成为具有预设显示形式的字幕片段数据，并根据所述播放时间轴信息，将所有字幕片段数据添加至其对应的图像帧片段子数据中，形成多个添加有字幕的图像帧片段子数据；

步骤A2、针对每个添加有字幕的图像帧片段子数据，执行如下步骤A21-A26：

步骤A21、对当前添加有字幕的图像帧片段子数据中包括的人物嘴部动作进行分析，确定出所述当前添加有字幕的图像帧片段子数据中嘴部发生动作的目标人物以及目标人物嘴部发生动作时所在的目标图像帧；

步骤A22、获取所述目标图像帧中添加的目标字幕；在当前添加有字幕的图像帧片段子数据对应的声音片段子数据中，获取所述目标字幕所对应的目标声音片段；获取所述目标声音片段对应的目标声音特征；

步骤A23、对所述目标图像帧中的目标人物人脸进行识别，获取所述目标人物的脸部特征；从预设的人物生物特征数据库中，确定所述目标人物的脸部特征对应的声音特征；

步骤A24、判断所述步骤A22确定出的目标声音特征与所述步骤A23确定出的所述目标人物的脸部特征对应的声音特征是否相匹配；如果匹配，则执行步骤A25；如果不匹配，则执行步骤A26；

步骤A25、如果所述步骤A22确定出的目标声音特征与所述步骤A23确定出的所述目标人物的脸部特征对应的声音特征匹配，则根据所述目标人物的脸部特征从预设的人物信息数据库中查找所述目标人物对应的目标客户端，将所述添加有所述目标字幕的目标图像帧以及所述目标字幕所对应的目标声音片段发送给所述目标客户端，由所述目标客户端将所述添加有所述目标字幕的目标图像帧以及所述目标字幕所对应的目标声音片段播放给所述目标人物，由所述目标人物对所述目标字幕进行校正，并由所述目标客户端接收所述目标人物输入的对所述目标字幕的校正结果，由所述目标客户端将对所述目标字幕的校正结果发送给所述服务器；所述服务器接收到所述目标字幕的校正结果后，对所述当前添加有字幕的图像帧片段子数据中的目标图像帧中的目标字幕进行校正；

步骤A26、如果所述步骤A22确定出的目标声音特征与所述步骤A23确定出的所述目标人物的脸部特征对应的声音特征不匹配，则将所述添加有所述目标字幕的目标图像帧以及所述目标字幕所对应的目标声音片段发送给预设客户端，由所述预设客户端将所述添加有所述目标字幕的目标图像帧以及所述目标字幕所对应的目标声音片段播放给所述预设客户端的用户，由预设客户端的用户对所述目标字幕进行校正，并由所述预设客户端接收所述用户输入的对所述目标字幕的校正结果，由所述预设客户端将对所述目标字幕的校正结果发送给所述服务器；所述服务器接收到所述目标字幕的校正结果后，对所述当前添加有字幕的图像帧片段子数据中的目标图像帧中的目标字幕进行校正。