[发明专利]一种图像处理方法及其装置、设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取待处理的视频文件，其中所述视频文件至少包括字幕文件、图像文件和音频文件，所述字幕文件包括每条字幕的起始时间和结束时间；

获取声纹与角色之间的对应关系表，其中，所述对应关系表是基于所述视频文件生成的；从所述图像文件中获取每一条字幕对应的第一图像帧集合；根据所述音频文件和所述对应关系表，从所述第一图像帧集合中确定每一条字幕对应的目标图像帧；

将所述每一条字幕按照预设格式添加至对应的目标图像帧中，得到漫画文件；

输出所述漫画文件；

其中，所述从所述图像文件中获取每一条字幕对应的第一图像帧集合，包括：根据每一条字幕的起始时间和所述每一条字幕的结束时间，从所述图像文件中确定每一条字幕对应的图像帧集合；

在所述将所述每一条字幕按照预设格式添加至对应的目标图像帧中之后，还包括：获取两个相邻目标图像帧的背景相似度，如果所述背景相似度满足预设条件，且其中一个目标图像帧包括所述两个相邻目标图像帧的两条相邻字幕对应的角色，合并所述两个相邻目标图像帧。

2.根据权利要求1中所述的方法，其特征在于，所述从所述图像文件中获取每一条字幕对应的第一图像帧集合，包括：

基于所述字幕文件，获取每一条字幕的起始时间和结束时间；

基于所述起始时间和结束时间，从所述图像文件中获取每一条字幕对应的第一图像帧集合。

3.根据权利要求1中所述的方法，其特征在于，所述根据所述音频文件和所述对应关系表，从所述第一图像帧集合中确定每一条字幕对应的目标图像帧，包括：

从所述音频文件中获取每一条字幕对应的各个音频片段；

获取所述各个音频片段的各个声纹特征；

基于所述对应关系表，确定所述各个声纹特征对应的各个角色图像；

根据所述各个角色图像从所述第一图像帧集合中确定每一条字幕对应的目标图像帧。

4.根据权利要求3中所述的方法，其特征在于，所述根据所述各个角色图像从所述第一图像帧集合中确定每一条字幕对应的目标图像帧，包括：

分别提取所述各个角色图像的各个图像特征；

将所述各个图像特征与所述第一图像帧集合中的各个图像帧进行匹配，确定每一条字幕对应的目标图像帧。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

根据所述字幕文件和所述图像文件，获取相邻两条字幕之间的间隔时长；

如果所述间隔时长大于预设的间隔阈值，获取所述相邻两条字幕之间的第二图像帧集合；

从所述第二图像帧集合中确定静默图像帧；

将所述静默图像帧添加至所述漫画文件。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述每一条字幕按照预设格式添加至对应的目标图像帧中，得到漫画文件，包括：

获取所述目标图像帧中每一条字幕对应的角色所在的位置信息；

根据所述位置信息确定所述每一条字幕对应的目标区域；

将所述每一条字幕按照预设格式添加至所述目标区域。

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

获取两个相邻目标图像帧的背景相似度；

如果所述背景相似度满足预设条件，确定所述两个相邻目标图像帧对应的两条相邻字幕是否属于同一角色；

如果所述两条相邻字幕属于同一角色，将前一条字幕按照预设格式添加至后一个目标图像帧中；

删除前一个目标图像帧。

8.根据权利要求7中所述的方法，其特征在于，所述方法还包括：

如果所述两条相邻字幕不属于同一角色，确定所述后一个目标图像帧是否包括两条相邻字幕对应的两个角色；

如果所述后一个目标图像帧中包括所述两个角色，将前一条字幕按照预设格式添加至所述后一个目标图像帧中；

删除所述前一个目标图像帧。