[发明专利]基于混合相机系统的无标记运动物体姿态恢复方法及装置

权利要求书

1.一种基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：

提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；

根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；

根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；以及

根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态；

其中，所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：

定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，P_event＝T×P_CMOS，其中，P_event为CMOS相机像素P_CMOS在event-based相机上的对应点；

将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；

并且，所述event-based相机将多个离散事件输出累加后生成图像K，进一步包括：

在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K；

所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：

假设分别为所述CMOS图像上shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；

通过二维光流算法计算两个点集中特征点的对应关系，使得与对应所述CMOS图像上的同一个shift特征点。

2.根据权利要求1所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据所述匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：

根据相邻两帧event-based图像中匹配的特征点集P₁与P₂计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P₂)^TE(P₁)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通过对所述本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。

3.根据权利要求2所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：

当下一帧所述CMOS图像到达时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发生特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。