[发明专利]基于神经网络的增强现实跟踪方法

摘要

本发明公开了一种基于神经网络的增强现实跟踪方法，包括S1、建立神经网络结构；S2、用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网络中各层的权重；S3、提取视频中首帧图像的角点特征；S4、通过神经网络预测，得到目标对象的运动趋势；S5、在目标对象的运动趋势方向上在后续图像序列中对目标对象进行跟踪。本发明通过神经网络预测目标对象的运动趋势，减小了搜索范围和计算过程中的迭代次数，从而缩减了跟踪计算时间，提高了跟踪效率。

主权项

一种基于神经网络的增强现实跟踪方法，其特征在于，所述方法包括：S1、建立神经网络结构；S2、用图像序列中目标对象的运动数据作为训练数据训练神经网络，调整神经网络中各层的权重；S3、提取视频中首帧图像的角点特征；S4、通过神经网络预测，得到目标对象的运动趋势；S5、在目标对象的运动趋势方向上在后续图像序列中对目标对象进行跟踪；所述神经网络结构包括1个输入层、1个隐藏层及1个输出层，输入层的神经元个数为K，隐藏层的神经元个数为M，输出层神经元个数为1，其中上一层神经元与下一层各神经元之间的权重为wij，初始权重取随机常量wij∈[‑0.5,0.5]，激活函数选取Sigmoid函数所述步骤S2具体为：S21、准备训练数据；S22、对训练数据进行归范化处理；S23、通过规范化处理后的训练数据训练神经网络，调整神经网络中各层的权重，从而训练出最优的神经网络；所述步骤S3中的角点特征具体为：若图像灰度强度的二阶导数矩阵中矩阵H两个特征值中较小的一个大于设定的阈值，则认为该点特征为角点特征；所述步骤S4具体为：得到目标对象在图像中的坐标Pi(xi,yi),i＝1,...,K，其中K小于N，N为视频帧数；在得到的坐标序列中计算相邻帧目标对象的位移偏移量；将前K帧图像目标对象位移偏移量输入已训练好的神经网络预测得到第K+1个位移偏移量Δu(Δx'K+1,Δy'K+1)；在第K+1帧跟踪之前计算该帧目标对象的估计位置：P'K+1(x'K+1,y'K+1)＝(xK+Δx'K+1,yK+Δy'K+1)；将得到的估计位置P'K+1(x'K+1,y'K+1)作为跟踪的初始位置；所述步骤S21具体为：获得目标对象在每帧中的坐标值Pi(xi,yi),i＝1,...,N，N为视频帧数；计算相邻两帧之间目标对象位移的变化量Δui(Δxi,Δyi),i＝1,...N，Δxi为目标对象沿X轴方向的变化量，Δyi为目标对象沿Y轴方向的变化量，图像的左上角为坐标原点，首帧图像的变化量为Δu1(0,0)；所述步骤S22中规范化处理为最小‑最大规范化处理：其中，vi为原始数据，并且vi＝Pi(xi,yi),i＝1,...,N，vi'为归范化后的数据，并且vi'＝Δxi,i＝1,...K，min为原始数据的最小值，max为原始数据的最大值；所述步骤S23具体为：将规范化后的训练数据Δxi,i＝1,...K输入神经网络输入层，在神经网络输出层得到第K+1个位移变化量的预测值，即第K+1帧与第K帧中目标对象的位移变化量Δu(Δx'K+1,Δy'K+1)；对比真实值Δui(ΔxK,ΔyK)与预测值Δu(Δx'K+1,Δy'K+1)之差，调整隐藏层与输出层之间的权重；再向前传递误差，调整输入层与隐藏层之间的误差；反复多次训练直到训练出最优的神经网络；所述步骤S5具体为：将估计位置P'K+1(x'K+1,y'K+1)作为初始位置在原始图像上采用KLT算法跟踪目标对象。