[发明专利]目标对象检测方法和装置、电子设备和存储介质有效
申请号: | 201811635978.X | 申请日: | 2018-12-29 |
公开(公告)号: | CN109726683B | 公开(公告)日: | 2021-06-22 |
发明(设计)人: | 李搏;武伟;张方毅 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/04;G06N3/08 |
代理公司: | 北京思源智汇知识产权代理有限公司 11657 | 代理人: | 毛丽琴 |
地址: | 100084 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 对象 检测 方法 装置 电子设备 存储 介质 | ||
1.一种目标对象检测方法,其特征在于,包括:
经神经网络分别提取参考帧和检测帧的特征;其中,所述检测帧为视频序列中需要进行目标对象检测的当前帧或者当前帧中可能包含所述目标对象的区域图像,所述参考帧为所述视频序列中检测时序位于所述检测帧之前、且目标对象的检测框确定的帧中目标对象的检测框图像,所述参考帧的图像大小小于所述检测帧;
分别将所述神经网络中至少两个网络层输出的至少二组特征中的每一组特征输入检测器,得到所述检测器对应输出的一组检测结果;其中,每一组特征包括所述参考帧的特征和所述检测帧的特征,每一组检测结果包括所述目标对象的多个备选框的分类结果和回归结果;
根据所述检测器针对所述至少二组特征输出的至少二组检测结果,获取所述检测帧中所述目标对象的检测框;
其中,所述根据所述检测器针对所述至少二组特征输出的至少二组检测结果,获取所述检测帧中所述目标对象的检测框,包括:
对所述至少二组检测结果中的分类结果进行处理,得到所述多个备选框的综合分类结果;对所述至少二组检测结果中的回归结果进行处理,得到所述多个备选框的综合回归结果;
根据所述多个备选框的综合分类结果和综合回归结果,获取所述检测帧中所述目标对象的检测框。
2.根据权利要求1所述的方法,其特征在于,还包括:
以所述检测帧中所述目标对象的检测框作为下一参考帧,经所述神经网络分别提取所述下一参考帧和视频序列中时序位于所述检测帧之后的下一检测帧的特征;
分别将所述神经网络中至少两个网络层输出的至少二组特征中的每一组特征输入检测器,得到所述检测器对应输出的一组检测结果;其中,每一组特征包括所述下一参考帧的特征和所述下一检测帧的特征;
根据所述检测器针对所述至少二组特征输出的至少二组检测结果,获取所述下一检测帧中所述目标对象的检测框。
3.根据权利要求1所述的方法,其特征在于,所述神经网络包括多个卷积层;所述分别将所述神经网络中至少两个网络层输出的至少二组特征输入检测器,包括:分别将所述神经网络中至少两个卷积层输出的至少二组特征输入检测器;或者,
所述神经网络包括多个卷积块,每个卷积块包括至少一个卷积层;所述分别将所述神经网络中至少两个网络层输出的至少二组特征输入检测器,包括:分别将所述神经网络中至少两个卷积块输出的至少二组特征输入检测器;或者,
所述神经网络包括至少一个卷积块和至少一个卷积层,每个卷积块包括至少一个卷积层;所述分别将所述神经网络中至少两个网络层输出的至少二组特征输入检测器,包括:分别将所述神经网络中至少一个卷积块和至少一个卷积层输出的至少二组特征输入检测器。
4.根据权利要求1所述的方法,其特征在于,所述检测帧为需要进行所述目标对象检测的当前帧中可能包含所述目标对象的区域图像时,所述方法还包括:
以所述参考帧的中心点为中心点,从当前帧中截取长度和/或宽度对应大于所述参考帧的图像长度和/或宽度的区域图像作为所述检测帧。
5.根据权利要求1所述的方法,其特征在于,将所述神经网络中一个网络层输出的一组特征输入检测器,得到所述检测器对应输出的一组检测结果,包括:
基于所述参考帧的特征获取检测器的分类权重和回归权重;
分别利用所述分类权重和所述回归权重对所述检测帧的特征进行处理,得到所述检测器输出的多个备选框的分类结果和回归结果。
6.根据权利要求5所述的方法,其特征在于,基于所述参考帧的特征获取检测器的分类权重,包括:
通过所述检测器中的第一卷积层对所述参考帧的特征进行卷积操作,以卷积操作得到的第一特征作为所述检测器的分类权重。
7.根据权利要求5所述的方法,其特征在于,基于所述参考帧的特征获取检测器的回归权重,包括:
通过所述检测器中的第二卷积层对所述参考帧的特征进行卷积操作,以卷积操作得到的第二特征作为所述检测器的回归权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811635978.X/1.html,转载请声明来源钻瓜专利网。