[发明专利]一种基于陀螺仪硬件平台的图像全局运动补偿方法

摘要

本发明提供一种基于陀螺仪硬件平台的图像全局运动补偿方法。使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿。本发明弥补由于摄像机移动造成的背景全局性的运动对图像中运动目标检测造成的影响，克服了软件算法只适用于特定环境的缺点。

主权项

一种基于陀螺仪硬件平台的图像全局运动补偿方法，其特征在于，使用摄像机拍摄目标场景图像序列；使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数，包括摄像机旋转角速度和平移加速度；建立摄像机运动参数的卡尔曼滤波模型，对摄像机运动参数进行卡尔曼滤波去除噪声；使用欧拉动力学方程将摄像机的旋转角速度转换成欧拉坐标系的欧拉角，使用运动公式将摄像机的平移加速度转换成摄像机的平移运动；根据图像像素光流与摄像机运动参数的关系，使用RANSAC算法估计出目标场景图像的全局光流；使用全局光流对目标场景图像序列进行全局运动补偿；所述陀螺仪硬件平台包括FPGA核心控制处理器、三轴数字陀螺仪，FPGA核心控制处理器、三轴数字陀螺仪集成在同一块电路板上，陀螺仪硬件平台固定在摄像机上；FPGA核心控制处理器通过控制摄像机的快门控制摄像机拍摄目标场景图像序列；在拍摄前后两帧图像的时间间隔内，FPGA核心控制处理器控制三轴数字陀螺仪获取多组摄像机的运动参数，取该多组运动参数的平均值作为摄像机在拍摄前一帧图像时的运动参数；其中，使用陀螺仪硬件平台获取摄像机在拍摄目标场景图像时的运动参数时，将旋转角速度测量值[wx，wy，wz]和平移运动加速度测量值[ax，ay，az]乘以各自的比例系数获得角速度参数中间量p和加速度参数中间量q，如公式(1)、(2)所示：p＝w*0.05°/s  (1)q＝a*3.333mg  (2)其中，w代表角速度参数测量值[wx，wy，wz]，a代表加速度参数测量值[ax，ay，az]；0.05和3.333分别为摄像机旋转角速度参数测量值和摄像机平移运动的加速度测量值所需要乘以的比例系数；然后判断中间量p和q的二进制首位，若为0，则直接将中间量p和q转换成十进制表示，若为1，则说明当前p和q为补码形式，需要将其转换为原码后再转换成十进制表示，获得摄像机旋转角速度参数和摄像机平移运动的加速度的真实值，分别表示为[Wx，Wy，Wz]和[Ax，Ay，Az]；然后，将T时间内所得的n组参数求取平均值，作为第N帧图像的摄像机运动参数，用W和A分别表示摄像机运动参数中旋转角速度参数和平移加速度参数；公式如(3)(4)所示：即通过倍率处理、数值转换以及取平均值之后，第N帧图像的摄像机运动参数表示为为了区别每一帧图像的摄像机运动参数，在摄像机运动参数数据的开始加入包头正整数N，其中N＝1,2,3…从而第N帧图像的摄像机运动参数最终表示为：对摄像机运动参数进行卡尔曼滤波时，建立每一帧图像的摄像机运动参数的滤波模型，如公式(5)、(6)所示：式(5)、(6)中，和分别为拍摄第N‑1帧图像时摄像机加速度和角速度的平均值，M为刻度因数误差，主要是用来补偿非线性特性，Bf为零点偏移，n为随机噪声；根据上述模型利用卡尔曼滤波方法，完成摄像机运动参数的滤波；使用RANSAC算法估计出目标场景图像的全局光流时，图像光流与摄像机运动参数的关系式如公式(7)所示：其中，[u,v]分别代表图像像素坐标[x,y]水平方向和竖直方向的光流，f代表摄像机的焦距，Z代表图像像素坐标[x,y]的实际物体点在摄像机坐标系中的Z轴分量，即距离光心的距离；α，β，γ为摄像机运动的欧拉角，Sx,Sy,Sz为摄像机的三轴运动位移；整理公式(7)，得到式(8)：假设摄像机获取的图像大小为Width*Hight，在图像中隔n行隔m列取得像素点坐标(xkn,ykm)，k＝1,2,3…,kn≤Width,km≤Hight，并将像素点坐标(xkn,ykm)放入集合D中，计算集合D的势Num；在集合D中任意提取势为2的样本集S，设S内的两个像素坐标分别为(xi,yj)和(xm,yn)，将(xi,yj)和(xm,yn)带入到整理后的光流与摄像机运动参数的表达式(8)中得到一个二元一次方程，解这个二元一次方程求出第N帧图像的光流量[uN,vN]；利用求出的光流量[uN,vN]，将集合D中的像素坐标(xkn,ykm)的横坐标xkn逐一带入至整理后的光流与摄像机运动参数的表达式(9)中，求解出ykm的估计值y'km，若ykm和y'km两者之差满足公式(9)：|yk‑y'km|≤0.1  (9)则将(xkn,ykm)留在集合D中，否则放入余集C中，最终重新计算出集合D的势Num；若Num≥M，其中M为集合D的样本个数阈值，则结束RANSAC算法，并将当前的[uN,vN]作为全局光流；若Num＜M，且RANSAC算法的循环次数在设定阈值NRAN内，则重复上述过程迭代计算求得新的图像光流量[uN,vN]，否则，结束RANSAC算法，并将当前[uN,vN]作为全局光流。