[发明专利]基于头部特征点的车载热成像行人检测RoIs提取方法

权利要求书

1.基于头部特征点的车载热成像行人检测RoIs提取方法，其特征在于，包括以下步骤：

步骤一、逐帧逐行人提取训练数据已标注行人的头部中心点，按95％置信度逐帧统计训练数据行人头部中心点获取帧头部区域；

步骤二、逐帧提取训练数据行人头部特征点，定义并训练头部特征点RoIs模型；包括以下步骤：

S2.1、定义头部特征点RoIs模型；定义头部特征点RoIs模型如式(4)所示：

其中，x,y,w,h分别表示头部特征点RoIs的左上角像素位置(x,y)和像素宽(w)/像素高(h)；μ为统计训练数据获得的行人外接矩形的宽高比，α,β,γ为头部特征点RoIs模型的参数；

步骤S2.2中，所述逐帧提取训练数据行人头部特征点，利用SURF(Speed Up RobustFeature)算法逐帧提取特征点，描述为(x_p,y_p,r_p,t_p,l_p)，(x_p,y_p)表示第p个特征点位置，r_p表示第p个特征点以(x_p,y_p)为圆心的半径，0r_p≤51；t_p表示第p个特征点的响应值，t_p阈值为δ，δ取值由实验获得；l_p表示第p个特征点的拉普拉斯值；

l_p0时，所提取的特征点为极亮点，当且仅当t_pδ和l_p0，特征点(x_p,y_p,r_p,t_p,l_p)为行人头部特征点；下标p表示特征点序号，p＝1,2,3,……,N_P，1≤N_P41；

步骤S2.3中，所述训练头部特征点RoIs模型，集合S_α、S_β和S_γ分别提供头部特征点RoIs模型参数α、β、γ的取值，集合S为S_α、S_β和S_γ的笛卡尔积，如式(5)所示：

定义损失函数如式(6)所示，损失函数最小化寻优即遍历S并轮询训练数据，通过N_S次轮询定位GT最大成功匹配个数所对应的S(k)记作S(k_m)；第k次遍历S取出S(k)代入式(4)获得R^S(k)(i,q)；逐帧轮询训练数据，逐GT(i,j)按q匹配R^S(k)(i,q)记录第i帧成功匹配GT的个数；进而累计第k次轮询训练数据成功匹配GT的个数；逐GT(i,j)按q匹配R^S(k)(i,q)即按q顺序计算GT(i,j)与R^S(k)(i,q)的交并比，提取最大IoU记作U_max，若U_max≥η，则这次匹配是一次成功匹配，η∈{0.5,0.6,0.7,0.8,0.9}；第i帧GT(i,j)成功匹配R^S(k)(i,q)的个数不大于N_Gi；其中，R^S(k)(i,q)为第i帧第q个头部特征点RoIs，序号q＝1,2,3,…,N_Hi，N_Hi为第i帧头部特征点RoIs的个数，1≤N_Hi21；S(k)表示S的第k个元素，即第k组α,β,γ取值，k＝1,2,3,…,N_S；

其中，Loss(S(k))表示取S(k)时的损失值；O(·)表示IoU计算公式，¹{·}为指示函数，当max(O(R^S(k)(i,q),G(i,j)))＜η，则¹{·}＝1，否则¹{·}＝0；α(k_α)表示集合S_α的第k_α个元素，β(k_β)表示集合S_β的第k_β个元素，γ(k_γ)表示集合S_γ的第k_γ个元素；

步骤三、利用步骤一中得到的帧头部区域裁减出当前图像帧，计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域；利用步骤一中得到的帧头部区域裁减出当前图像帧，采用自适应双阈值分割算法计算得到当前图像帧的双阈值分割二值图，合并裁剪得到的当前图像帧及当前图像帧的双阈值分割二值图获得当前帧头部特征点区域，如式(7)所示：

其中，I_p表示当前帧头部特征点区域，I_p(x,y)表示当前帧头部特征点区域位置(x,y)的像素值，I_dt表示双阈值分割二值图，I_dt(x,y)＝＝1表示I_dt位置(x,y)为前景点，I(x,y)表示当前帧位置(x,y)的像素值，位置(x,y)位于步骤一中得到的帧头部区域即T(k_min)矩形区域内；

步骤四、采样并筛选当前帧头部特征点区域获得当前帧头部特征点；

步骤五、利用步骤二中训练完的头部特征点RoIs模型计算获得当前帧头部特征点RoIs并与当前帧双阈值分割RoIs合并生成当前帧RoIs；

步骤六、度量和调整当前帧RoIs，度量和调整当前帧RoIs包括IoU度量/调整和前景关联度量/调整；

所述IoU度量/调整即逐个计算当前帧双阈值分割RoIs R_dt(p)依次与当前帧N_h个头部特征点的IoU U_p(q)，若U_p(q)0.5，则删除当前获得当前帧的保留RoIs即集合R，如式(9)所示：

其中，p为R_dt的序号，p＝1,2,3,…,N_dt,1≤N_dt21；q为的序号，q＝1,2,3,…,N_h,1≤N_h21；

S2.2、逐帧提取训练数据行人头部特征点；

S2.3、利用步骤S2.2中提取的行人头部特征点训练头部特征点RoIs模型。