[发明专利]基于混合相机系统的无标记运动物体姿态恢复方法及装置

摘要

本发明公开了一种基于混合相机系统的无标记运动物体姿态恢复方法及装置，其中，方法包括：提取CMOS图像中目标物体的shift特征点，并根据混合相机系统的位置标定信息将shift特征点映射到event‑based相机坐标系下；根据event‑based相机生成的事件信息跟踪shift特征点，得到匹配的特征点；根据匹配的特征点计算目标物体的三维姿态变换矩阵；根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。该方法可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。

主权项

1.一种基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述混合相机系统由event‑based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：

提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event‑based相机坐标系下；

根据所述event‑based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；

根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；以及

根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。

2.根据权利要求1所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event‑based相机坐标系下，进一步包括：

定义所述混合相机系统的所述CMOS相机与所述event‑based相机的空间标定对应矩阵为T，P_event＝T×P_CMOS，其中，P_event为CMOS相机像素P_CMOS在event‑based相机上的对应点；

将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event‑based相机的成像平面上，以作为初始event‑based图像帧；

并且，所述event‑based相机将多个离线事件输出累加后生成图像K，进一步包括：

在所述event‑based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event‑based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K。

3.根据权利要求2所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event‑based相机坐标系下，进一步包括：

假设分别为所述CMOS图像上所述shift特征点集在相邻两帧所述event‑based相机的图像数据K上映射点集；

通过二维光流算法计算两个点集中特征点的对应关系，使得与对应所述CMOS图像上的同一个shift特征点。

4.根据权利要求1所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据所述匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：

根据相邻两帧event‑based图像中匹配的特征点集P₁与P₂计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P₂)^TE(P₁)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对所述本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。

5.根据权利要求4所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：

当下一帧所述CMOS图像达到时，提取图像中的所述shift特征点，并与在event‑based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event‑based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。

6.一种基于混合相机系统的无标记运动物体姿态恢复装置，其特征在于，所述混合相机系统由event‑based相机、CMOS相机与分光片组成，其中，所述装置包括：

提取模块，用于提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event‑based相机坐标系下；

生成模块，用于根据所述event‑based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；

计算模块，根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；以及

恢复模块，用于根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。

7.根据权利要求6所述的基于混合相机系统的无标记运动物体姿态恢复装置，其特征在于，所述提取模块，进一步包括：

定义单元，用于定义所述混合相机系统的所述CMOS相机与所述event‑based相机的空间标定对应矩阵为T，P_event＝T×P_CMOS，其中，P_event为CMOS相机像素P_CMOS在event‑based相机上的对应点；

映射单元，用于将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event‑based相机的成像平面上，以作为初始event‑based图像帧；

并且，所述event‑based相机将多个离线事件输出累加后生成图像K，进一步包括：

在所述event‑based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event‑based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K。

8.根据权利要求7所述的基于混合相机系统的无标记运动物体姿态恢复装置，其特征在于，所述映射单元，进一步包括：

假设分别为所述CMOS图像上所述shift特征点集在相邻两帧所述

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学，未经清华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201711424773.2/，转载请声明来源钻瓜专利网。