[发明专利]基于口型特征的字幕调整方法以及装置

说明书

本公开是关于一种基于口型特征的字幕调整方法、装置、电子设备以及存储介质。其中，该方法包括：基于图像识别述视频中发言人的唇部定位；选取唇部的预设唇部区域，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；基于预设拟合算法生成拟合曲线；基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。本公开通过基于唇部特征区域唇部占比面积统计的方式，开创性的实现了音频字幕与图像画面的时间匹配，极大的提高了用户体验。

技术领域

本公开涉及互联网领域，具体而言，涉及一种基于口型特征的字幕调整方法、装置、电子设备以及计算机可读存储介质。

背景技术

字幕(subtitles of motion picture)是指以文字形式显示电视、电影、舞台作品中的对话等非影像内容，也泛指影视作品后期加工的文字。在电影银幕或电视机荧光屏下方出现的解说文字以及种种文字，如影片的片名、演职员表、唱词、对白、说明词以有人物介绍、地名和年代等都称为字幕。影视作品的对话字幕，一般出现在屏幕下方，而戏剧作品的字幕，则可能显示于舞台两旁或上方。

视频字幕是为了理解视频内容而产生的辅助工具，随着互联网的发展，视频字幕的配备越来越重要。视频字幕自动生成包括提取课程视频的音频流、音频流断句切分、语音识别、格式文本文件生成等技术原理。中文语音识别过程包括特征参数提取、声学模型、语言模型和模式匹配四个部分。现有技术中，字幕识别运用到的相关技术包括MFCC、HMM和N-gram等技术及其相关算法进行中文语音识别，MFCC特征参数提取方法、HMM声学模型及其相关算法以及N-gram语言模型及平滑处理方法。针对中文发音规则，以声母和韵母为音素，结合卡内基梅隆大学开发的sphinx语音识别系统，进行声学建模、语言建模及字典构建。通过建立语料库、研究sphinx语音识别系统及设计开发字幕生成系统三个步骤，实现了字幕自动生成。随着无线网络、短视频的快速发展，基于用户语音的字幕自动生成技术越来越成熟，极大的方便的视频录制者，也提高了视频观众的观看体验。

然而，由于音频直接转化的字幕是与音频的时间戳对应的，但是由于现有视频录制过程中，由于音频采集设备与音像同步算法不同步等问题，常会出现通过音频直接转化的字幕与实际的视频图像画面不匹配的情况，特别是一些在线教育等单一主讲人的视频中，字幕时间失之毫厘谬以千里，对观众的观看、教学体验会有很大的影响。

因此，需要一种或多种方法解决上述问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于口型特征的字幕调整方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种基于口型特征的字幕调整方法，包括：

基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位；

选取唇部的预设唇部区域，对所述预设唇部区域中唇部所占面积进行统计并与时间戳对应，生成基于时间变化的预设唇部区域唇部所占面积的时序曲线；

基于预设拟合算法对所述基于时间变化的预设唇部区域唇部所占面积的时序曲线进行拟合，生成拟合曲线；

基于所述字幕信息及所述字幕信息对应的标准口型信息生成基于字幕展示时间变化的预设唇部区域唇部所占面积的标准曲线，将所述标准曲线和拟合曲线对比，并根据对比结果调整所述字幕信息的展示时间。

在本公开的一种示例性实施例中，所述基于对包含字幕信息的视频进行图像识别，完成对所述视频中发言人的唇部定位还包括：