[发明专利]基于深度学习的行人检测方法及检测装置有效
申请号: | 201710010476.7 | 申请日: | 2017-01-06 |
公开(公告)号: | CN106845374B | 公开(公告)日: | 2020-03-27 |
发明(设计)人: | 丁贵广;郝晖;陈仕江 | 申请(专利权)人: | 清华大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 深度 学习 行人 检测 方法 装置 | ||
1.一种基于深度学习的行人检测方法,其特征在于,包括以下步骤:
获取视频数据;
根据所述视频数据定位多个可能存在行人的关键区域;
通过深度卷积神经网络对所述多个可能存在行人的关键区域进行多次迭代,得到调整和过滤后的行人特征,以判断关键区域中是否有行人,其中,所述深度卷积神经网络包括多个卷积层、Roi采样层、全连接层和回归拟合层,以对所述视频数据中输入图片的多个关键区域进行统一采样和规范化的特征表示,并且对预测区域与标注数据进行回归拟合,以得到用于区域边界框的调整偏置,所述深度卷积神经网络的损失函数为:
L(p,u,tu,v)=Lcls(p,u)+λ[u≥1]Lloc(tu,v)
其中,Lcls表示关于行人及辅助类类别的损失函数,Lloc表示关于判断边界框位置的损失函数,u表示对象类别,v表示对象边界框,p表示辅助类别的离散概率分布,tu表示行人对象边界框的预测结果,λ表示损失函数中的超参数;
在定位所述多个关键区域时,将每一个关键区域赋予一个初始类标,所述类标确定方式为:
其中,表示在第s次迭代中第i个训练区域的位置,Gi表示与所在的图片上所有标注的目标检测区域,表示图像上原始划分的第i个训练区域,其中,在每一次迭代s中,将调整拟合回归其被确定的类标在每一次迭代中的拟合目标为:
其中,S*表示总的迭代次数;以及
如果所述关键区域中有行人,则输出每一个行人检测结果的边界框和置信度。
2.根据权利要求1所述的基于深度学习的行人检测方法,其特征在于,所述深度卷积神经网络在多次迭代训练过程中的目标函数为:
其中,ti(s)表示第i次迭代中关于Bi的区域预测结果,表示拟合目标。
3.一种基于深度学习的行人检测装置,其特征在于,包括:
获取模块,用于获取视频数据;
定位模块,用于根据所述视频数据定位多个可能存在行人的关键区域;
判断模块,用于通过深度卷积神经网络对所述多个可能存在行人的关键区域进行多次迭代,得到调整和过滤后的行人特征,以判断关键区域中是否有行人,其中,所述深度卷积神经网络包括多个卷积层、Roi采样层、全连接层和回归拟合层,以对所述视频数据中输入图片的多个关键区域进行统一采样和规范化的特征表示,并且对预测区域与标注数据进行回归拟合,以得到用于区域边界框的调整偏置;
所述深度卷积神经网络的损失函数为:
L(p,u,tu,v)=Lcls(p,u)+λ[u≥1]Lloc(tu,v)
其中,Lcls表示关于行人及辅助类类别的损失函数,Lloc表示关于判断边界框位置的损失函数,u表示对象类别,v表示对象边界框,p表示辅助类别的离散概率分布,tu表示行人对象边界框的预测结果,λ表示损失函数中的超参数;
在定位所述多个关键区域时,将每一个关键区域赋予一个初始类标,所述类标确定方式为:
其中,表示在第s次迭代中第i个训练区域的位置,Gi表示与所在的图片上所有标注的目标检测区域,表示图像上原始划分的第i个训练区域,其中,在每一次迭代s中,将调整拟合回归其被确定的类标在每一次迭代中的拟合目标为:
其中,S*表示总的迭代次数;以及
输出模块,在所述关键区域中有行人时,用于输出每一个行人检测结果的边界框和置信度。
4.根据权利要求3所述的基于深度学习的行人检测装置,其特征在于,所述深度卷积神经网络在多次迭代训练过程中的目标函数为:
其中,ti(s)表示第i次迭代中关于Bi的区域预测结果,表示拟合目标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710010476.7/1.html,转载请声明来源钻瓜专利网。