[发明专利]视频处理方法及装置在审
申请号: | 202111280492.0 | 申请日: | 2021-10-29 |
公开(公告)号: | CN114005063A | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 磯部駿;陶鑫;戴宇荣 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/82;G06N3/04;G06N3/08;G06T3/40 |
代理公司: | 北京铭硕知识产权代理有限公司 11286 | 代理人: | 王皎彤;曾世骁 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理 方法 装置 | ||
1.一种视频处理方法,其特征在于,包括:
获取待处理视频的当前帧图像的特征和当前帧的前一帧图像的特征;
确定所述当前帧图像的特征和所述前一帧图像的特征的相关性;
基于所述相关性和所述前一帧图像的隐层特征,确定所述当前帧图像和所述前一帧图像的对齐特征,其中,所述前一帧图像的隐层特征包括对所述前一帧图像进行处理的输入层和输出层之间的隐藏层的特征;
基于所述对齐特征对所述当前帧图像进行处理。
2.根据权利要求1所述的视频处理方法,其特征在于,确定所述当前帧图像和所述前一帧图像的对齐特征的步骤包括:
基于所述当前帧图像的特征和所述前一帧图像的特征的相关性确定所述当前帧图像和所述前一帧图像中的相关性最大的位置;
基于所述相关性最大的位置对所述前一帧图像的隐层特征进行对齐操作,得到所述当前帧图像和所述前一帧图像的对齐特征。
3.根据权利要求2所述的视频处理方法,其特征在于,基于所述相关性最大的位置对所述前一帧图像的隐层特征进行对齐操作的步骤包括:
将所述相关性最大的位置作为索引,对所述前一帧图像的隐层特征进行迁移。
4.根据权利要求1所述的视频处理方法,其特征在于,获取待处理视频的当前帧图像的特征和当前帧的前一帧图像的特征的步骤包括:
通过相同的特征提取网络分别对所述当前帧图像和所述前一帧图像进行特征提取,得到所述当前帧图像的特征和所述前一帧图像的特征。
5.根据权利要求1所述的视频处理方法,其特征在于,确定所述当前帧图像的特征和所述前一帧图像的特征的相关性的步骤包括:
计算所述当前帧图像的特征的范数,将所述当前帧图像的特征除以所述当前帧图像的特征的范数,得到第一特征;
计算所述前一帧图像的特征的范数,将所述前一帧图像的特征除以所述前一帧图像的特征的范数,得到第二特征;
将第一特征和第二特征的内积作为所述当前帧图像的特征和所述前一帧图像的特征的相关性。
6.根据权利要求1所述的视频处理方法,其特征在于,基于所述对齐特征对所述当前帧图像进行处理的步骤包括:
将所述当前帧图像和所述对齐特征进行拼接,得到拼接特征;
将所述拼接特征输入到预设的卷积神经网络,得到所述当前帧图像的处理后的图像和所述当前帧图像的隐层特征。
7.根据权利要求6所述的视频处理方法,其特征在于,所述当前帧图像的处理后的图像包括所述当前帧图像的超分辨处理图像或所述当前帧图像的图像增强处理图像。
8.一种视频处理装置,其特征在于,包括:
特征获取单元,被配置为获取待处理视频的当前帧图像的特征和当前帧的前一帧图像的特征;
相关性确定单元,被配置为确定所述当前帧图像的特征和所述前一帧图像的特征的相关性;
特征对齐单元,被配置为基于所述相关性和所述前一帧图像的隐层特征,确定所述当前帧图像和所述前一帧图像的对齐特征,其中,所述前一帧图像的隐层特征包括对所述前一帧图像进行处理的输入层和输出层之间的隐藏层的特征;和
图像处理单元,被配置为基于所述对齐特征对所述当前帧图像进行处理。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的视频处理方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,当所述计算机程序被电子设备的处理器执行时,使得电子设备执行如权利要求1至7中任一项所述的视频处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111280492.0/1.html,转载请声明来源钻瓜专利网。