[发明专利]一种字幕处理方法、装置、电子设备及存储介质在审
申请号: | 202211259549.3 | 申请日: | 2022-10-14 |
公开(公告)号: | CN115690649A | 公开(公告)日: | 2023-02-03 |
发明(设计)人: | 刘芳龙;李鑫;李甫;何栋梁 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 丁芸;马敬 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 字幕 处理 方法 装置 电子设备 存储 介质 | ||
1.一种字幕处理方法,包括:
获取待处理视频的多个目标视频帧;
对各所述目标视频帧中的字幕进行检测,确定各所述目标视频帧中字幕的高度;
基于各所述目标视频帧中字幕的高度,确定所述待处理视频的最高字幕高度;
基于所述待处理视频的最高字幕高度,对所述待处理视频各视频帧中的字幕进行剪裁或抹除,得到去除字幕的目标视频。
2.根据权利要求1所述的方法,其中,所述获取待处理视频的多个目标视频帧,包括:
获取待处理视频;
对所述待处理视频进行抽帧处理,得到多个目标视频帧。
3.根据权利要求1所述的方法,其中,所述基于各所述目标视频帧中字幕的高度,确定所述待处理视频的最高字幕高度,包括:
以距离所述目标视频帧的底边预设高度为起点,第一预设数量个像素点为单位,对距离所述目标视频帧的底边预设高度之下的区域进行划分,得到多个候选高度区间;
基于各所述目标视频帧中字幕的高度,统计各所述候选高度区间中所包含的字幕高度的个数;
基于目标候选高度区间中所包含的各所述目标视频帧中字幕的高度,确定所述待处理视频的最高字幕高度;所述目标候选高度区间为:距离所述起点最近、且包含字幕高度的个数不少于第二预设数量的候选高度区间。
4.根据权利要求1-3任一所述的方法,其中,所述基于所述待处理视频的最高字幕高度,对所述待处理视频各视频帧中的字幕进行剪裁,得到去除字幕的目标视频,包括:
基于所述待处理视频的最高字幕高度,对所述待处理视频各视频帧最高字幕高度以下的区域进行剪裁,得到候选视频帧;
对各所述候选视频帧进行水平剪裁,得到去除字幕的目标视频。
5.根据权利要求4所述的方法,其中,所述对各所述候选视频帧进行水平剪裁,得到去除字幕的目标视频,包括:
对各所述候选视频帧进行主体检测,得到各所述候选视频帧的主体位置;
基于各所述候选视频帧的主体位置以及预设高宽比,确定各所述候选视频帧的水平剪裁位置;
基于各所述候选视频帧的水平剪裁位置,对各所述候选视频帧进行水平剪裁,得到去除字幕的目标视频。
6.根据权利要求1-3任一所述的方法,其中,所述基于所述待处理视频的最高字幕高度,对所述待处理视频各视频帧中的字幕进行抹除,得到去除字幕的目标视频,包括:
针对所述待处理视频的每一视频帧,对该视频帧中的字幕进行检测,得到该视频帧字幕框的位置信息;
基于该视频帧字幕框的位置信息以及所述待处理视频的最高字幕高度,确定待抹除字幕框的位置信息;
基于所述待抹除字幕框的位置信息以及所述待抹除字幕框之外的区域像素信息,确定候选像素;
利用所述候选像素替换所述待抹除字幕框中的像素,得到去除字幕的目标视频。
7.根据权利要求6所述的方法,其中,所述基于所述待抹除字幕框的位置信息以及所述待抹除字幕框之外的区域像素信息,确定候选像素,包括:
将所述待抹除字幕框的位置信息,以及所述待抹除字幕框之外的区域像素信息,输入预训练的像素预测模型中对所述待抹除字幕框的像素进行预测,得到候选像素;其中,预训练的像素预测模型是根据样本图像中样本字幕框的位置信息,样本图像中样本字幕框之外的区域像素信息以及样本字幕框的像素信息进行训练得到的。
8.根据权利要求1-7任一所述的方法,还包括:
将预设字幕添加至所述去除字幕的目标视频中,得到候选视频;
利用预设配音替换所述候选视频中的音频,得到新的视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211259549.3/1.html,转载请声明来源钻瓜专利网。