[发明专利]视频处理方法、装置、计算机可读存储介质和计算机设备在审
申请号: | 201910150506.3 | 申请日: | 2019-02-28 |
公开(公告)号: | CN109862422A | 公开(公告)日: | 2019-06-07 |
发明(设计)人: | 杨广煜 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | H04N21/439 | 分类号: | H04N21/439;H04N21/44;H04N21/488;H04N21/845 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊;何平 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频片段 视频帧 计算机可读存储介质 计算机设备 视频帧序列 声音类型 视频处理 字幕图像 字幕文字 合成目标 声纹识别 视频传递 视频文件 音频文件 字幕文件 角色 申请 | ||
1.一种视频处理方法,包括:
获取音频文件中的音频片段;
对所述音频片段进行声纹识别,得到所述音频片段对应的声音类型;
获取字幕文件中与所述音频片段对应的字幕文字;
获取原视频文件中与所述音频片段对应的原视频帧序列;
基于所述原视频帧序列中的原视频帧,识别与所述声音类型对应的角色;
根据所述角色在所述原视频帧中的位置,生成包括所述字幕文字的字幕图像帧;所述字幕图像帧用于与所述原视频帧合成目标视频帧。
2.根据权利要求1所述的方法,其特征在于,所述字幕图像帧中还包括将所述字幕文字指向所述角色的字幕指针;所述方法还包括:
确定所述角色在所述原视频帧中的位置;
当所述角色在所述原视频帧序列中各个原视频帧中的位置发生变化时,则相应地改变所述字幕指针在所述字幕图像帧中的位置,使得在所述目标视频帧构成的视频连续画面中所述字幕指针随着所述角色的移动而相应移动。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述原视频帧中不存在与所述声音类型对应的角色时,则
确定与所述角色对应的角色名称;
生成包括所述角色名称、所述字幕文字和字幕指针的字幕图像帧;所述字幕指针指向所述字幕图像帧的图像边缘。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述原视频文件中不存在相应的音频片段的原视频帧;
生成空白图像帧,将所述空白图像帧作为所述原视频帧相应的字幕图像帧。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
遍历音频文件中的各个音频片段;
对当前的音频片段进行声纹识别,得到与所述音频片段对应的声音类型;
当所述声音类型存在匹配的角色时,则遍历下一个音频片段;
当所述声音类型不存在匹配的角色时,则获取原视频文件中与当前的音频片段对应的原视频帧序列,对所述原视频帧序列中的各原视频帧进行人脸识别,得到所述原视频帧中的角色,将所述声音类型与识别出的所述角色对应存储。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据原视频文件中各原视频帧对应的字幕视频帧生成字幕视频文件;
将所述字幕视频文件与所述原视频文件的视频标识对应存储。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
接收终端发送的携带视频标识和当前播放时间节点的字幕开启请求;
获取所述视频标识对应的原视频文件和字幕视频文件;
从所述原视频文件中所述当前播放时间节点对应的原视频帧和所述字幕视频文件中当前播放时间节点对应的字幕视频帧开始进行视频合成,得到合成视频文件;
响应于所述字幕开启请求,将所述合成视频文件反馈至所述终端;反馈至所述终端的合成视频文件用于指示所述终端从所述合成视频文件中所述当前播放时间节点对应的视频帧开始依次播放视频帧。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述字幕图像帧中的字幕文字靠近所述角色在所述原视频帧中的位置相应展示在气泡文本框中。
9.一种视频处理装置,其特征在于,所述装置包括:
音频片段获取模块,用于获取音频文件中的音频片段;
声音类型识别模块,用于对所述音频片段进行声纹识别,得到所述音频片段对应的声音类型;
字幕文字获取模块,用于获取字幕文件中与所述音频片段对应的字幕文字;
原视频帧序列获取模块,用于获取原视频文件中与所述音频片段对应的原视频帧序列;
角色识别模块,用于基于所述原视频帧序列中的原视频帧,识别与所述声音类型对应的角色;
字幕图像帧生成模块,用于根据所述角色在所述原视频帧中的位置,生成包括所述字幕文字的字幕图像帧;所述字幕图像帧用于与所述原视频帧合成目标视频帧。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910150506.3/1.html,转载请声明来源钻瓜专利网。