[发明专利]视频跟踪中自适应遮挡检测系统及方法有效
申请号: | 201910027720.X | 申请日: | 2019-01-11 |
公开(公告)号: | CN109886994B | 公开(公告)日: | 2021-07-20 |
发明(设计)人: | 乔宇;谷月阳 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G06T7/223 | 分类号: | G06T7/223 |
代理公司: | 上海汉声知识产权代理有限公司 31236 | 代理人: | 庄文莉 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 跟踪 自适应 遮挡 检测 系统 方法 | ||
1.一种视频跟踪中自适应遮挡检测系统,其特征在于,包括:
背景跟踪器:根据目标跟踪器对目标的跟踪结果,跟踪遮挡目标的背景小块和目标周边的背景小块;
滤波器的权重通过下式获得:
w=argmin(∑(f(w,xi)-yi)2+λ||w||2) (3)
其中xi为训练样本,yi为回归目标,λ为正则系数,通过非线性映射将训练样本与回归目标之间的非线性关系转换为线性,则α可以通过下式获得:
α=(K+λI)-1Y (4)
其中K为核矩阵,选择合适的核函数k(xi,xj)能使得核矩阵K被离散傅里叶变换对角化,则相关滤波器的解为:
其中∧表示离散傅里叶变换,kxx表示核矩阵的第一行;
遮挡候选集既包括上一帧遮挡目标的背景小块,也包括当前帧中目标周边的背景小块;背景小块的尺度一定,数量自适应于目标的尺度,计算公式为:
其中,表示对x向上取整,a表示小块的边长,w,h分别表示目标的宽和高,Nh,Nv分别表示目标每条水平边和竖直边上小块的数量;
遮挡检测器:根据目标跟踪器和所述背景跟踪器的跟踪结果,判断目标与所述背景小块之间的位置关系,输出遮挡目标的背景小块的位置;
利用跟踪置信度指标:峰旁瓣比PSR判断目标与小块之间的遮挡关系,计算公式为:
其中R为KCF输出的响应矩阵,max(R)表示R中的最大值,avg(R)表示R的平均值,σ(R)表示R的标准差,若PSR高于阈值,则认为该小块遮挡目标,该阈值取决于前若干帧中小块的PSR:
其中表示第t+k帧中第z个小块的PSR阈值,表示第t+d帧中第z个小块对应的响应矩阵,wd表示t到(t+k-1)这一组帧中第d帧的PSR的权重,由下式计算:
其中e表示自然常数,第t+k帧中各个小块的PSR阈值是前k帧中各个小块的PSR的加权平均值;
模板更新器:计算目标被遮挡的程度,当遮挡程度小于一阈值时,对目标模板进行更新,当遮挡程度大于等于所述阈值时,停止对目标模板的更新;
目标未被遮挡部分的占比由下式计算:
M为掩膜,将目标所在区域对应的元素设置为“1”,若小块遮挡目标,则将遮挡部分对应的元素设置为“0”,Sum(M)表示M中“1”的数量,Area(M)表示M中元素的数量,将目标的被遮挡程度分为三种情况:未被遮挡、部分遮挡、严重遮挡,在第t帧中,目标模板根据下式进行更新:
其中xt-1表示第t-1帧中目标的模板,xc表示当前帧跟踪结果中的图像,δ(·)表示单位阶跃函数,β表示学习率,表示未被遮挡与部分遮挡的临界值,若则xt=xt-1,模板停止更新;若则xt=xt-1*(1-β)+xc*β,模板进行更新;
搜索范围预测器:根据目标被遮挡的程度改变目标跟踪器对目标的跟踪范围;
在第一帧,训练n个尺度不同的KCF跟踪器,相应的尺度如下所示:
S=aq*S0 aq∈{a1,a2,…,an} (13)
其中,aq为尺度系数,S0为基尺度,在目标处于严重遮挡状态下,搜索范围预测器逐步扩大搜索范围的尺度;反之则缩小,用ηt表示目标的遮挡状态累积到第t帧的值:
其中,表示目标未被遮挡部分的占比,表示严重遮挡与部分遮挡的临界值,利用sigmoid型函数刻画q与ηt之间的非线性关系,a的索引值由下式计算:
其中,[x]表示对x四舍五入,n为不同尺度搜索范围的数量,e为自然常数,b为偏置项,下一帧中搜索范围的尺度为:aq*S0。
2.一种视频跟踪中自适应遮挡检测方法,其特征在于,包括:
背景跟踪步骤:根据目标跟踪步骤对目标的跟踪结果,跟踪遮挡目标的背景小块和目标周边的背景小块;
滤波器的权重通过下式获得:
w=argmin(∑(f(w,xi)-yi)2+λ||w||2) (3)
其中xi为训练样本,yi为回归目标,λ为正则系数,通过非线性映射将训练样本与回归目标之间的非线性关系转换为线性,则α可以通过下式获得:
α=(K+λI)-1Y (4)
其中K为核矩阵,选择合适的核函数k(xi,xj)能使得核矩阵K被离散傅里叶变换对角化,则相关滤波器的解为:
其中∧表示离散傅里叶变换,kxx表示核矩阵的第一行;
遮挡候选集既包括上一帧遮挡目标的背景小块,也包括当前帧中目标周边的背景小块;背景小块的尺度一定,数量自适应于目标的尺度,计算公式为:
其中,表示对x向上取整,a表示小块的边长,w,h分别表示目标的宽和高,Nh,Nv分别表示目标每条水平边和竖直边上小块的数量;
遮挡检测步骤:根据目标跟踪步骤和所述背景跟踪步骤的跟踪结果,判断目标与所述背景小块之间的位置关系,输出遮挡目标的背景小块的位置;
利用跟踪置信度指标:峰旁瓣比PSR判断目标与小块之间的遮挡关系,计算公式为:
其中R为KCF输出的响应矩阵,max(R)表示R中的最大值,avg(R)表示R的平均值,σ(R)表示R的标准差,若PSR高于阈值,则认为该小块遮挡目标,该阈值取决于前若干帧中小块的PSR:
其中表示第t+k帧中第z个小块的PSR阈值,表示第t+d帧中第z个小块对应的响应矩阵,wd表示t到(t+k-1)这一组帧中第d帧的PSR的权重,由下式计算:
其中e表示自然常数,第t+k帧中各个小块的PSR阈值是前k帧中各个小块的PSR的加权平均值;
模板更新步骤:计算目标被遮挡的程度,当遮挡程度小于一阈值时,对目标模板进行更新,当遮挡程度大于等于所述阈值时,停止对目标模板的更新;
目标未被遮挡部分的占比由下式计算:
M为掩膜,将目标所在区域对应的元素设置为“1”,若小块遮挡目标,则将遮挡部分对应的元素设置为“0”,Sum(M)表示M中“1”的数量,Area(M)表示M中元素的数量,将目标的被遮挡程度分为三种情况:未被遮挡、部分遮挡、严重遮挡,在第t帧中,目标模板根据下式进行更新:
其中xt-1表示第t-1帧中目标的模板,xc表示当前帧跟踪结果中的图像,δ(·)表示单位阶跃函数,β表示学习率,表示未被遮挡与部分遮挡的临界值,若则xt=xt-1,模板停止更新;若则xt=xt-1*(1-β)+xc*β,模板进行更新;
搜索范围预测步骤:根据目标被遮挡的程度改变目标跟踪步骤对目标的跟踪范围;
在第一帧,训练n个尺度不同的KCF跟踪器,相应的尺度如下所示:
S=aq*S0 aq∈{a1,a2,…,an} (13)
其中,aq为尺度系数,S0为基尺度,在目标处于严重遮挡状态下,搜索范围预测器逐步扩大搜索范围的尺度;反之则缩小,用ηt表示目标的遮挡状态累积到第t帧的值:
其中,表示目标未被遮挡部分的占比,表示严重遮挡与部分遮挡的临界值,利用sigmoid型函数刻画q与ηt之间的非线性关系,a的索引值由下式计算:
其中,[x]表示对x四舍五入,n为不同尺度搜索范围的数量,e为自然常数,b为偏置项,下一帧中搜索范围的尺度为:aq*S0。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910027720.X/1.html,转载请声明来源钻瓜专利网。