[发明专利]基于混合相机系统的高速运动物体去模糊方法及装置

权利要求书

1.一种基于混合相机系统的高速运动物体去模糊方法，其特征在于，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：

获取所述event-based相机产生的数据并生成离散图像；

采集所述相机产生的CMOS图像并提取图像前景信息与背景信息，且根据所述前景信息得到待恢复物体的轮廓信息；

将所述CMOS相机下的轮廓信息变换到所述event-based相机下，获取所述离散图像与前景物体轮廓的匹配矩阵，以得到几何变换矩阵；以及

在RGB图像中，根据所述几何变换矩阵以及所述前景信息与所述背景信息去除高速运动物体模糊。

2.根据权利要求1所述的基于混合相机系统的高速运动物体去模糊方法，其特征在于，所述event-based相机以离散事件数据包的形式输出图像中亮度发生变化的像素点位置，所述离散事件数据包的格式为(x,y,t,m)，其中(x,y)表示亮度改变的像素点位置，t为事件发生的顺序标志，m为亮度改变的标志，取值为-1(亮度变暗)或者1(亮度变亮)，其中，所述获取所述event-based相机产生的数据并生成离散图像，进一步包括：

在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K；

所述event-based相机输出的单个事件数据包含信息量少，需要将多个离线事件输出累加后生成图像数据K。

3.根据权利要求2所述的基于混合相机系统的高速运动物体去模糊方法，其特征在于，所述根据所述前景信息得到待恢复物体的轮廓信息，进一步包括：

通过GraphCut算法使用所述RGB图像的颜色信息完成对每个像素前景与背景的分割，其中，定义前景RGB图像信息为前景RGB图像F，背景RGB信息为B，并提取F的轮廓位置信息定义为轮廓信息C。

4.根据权利要求3所述的基于混合相机系统的高速运动物体去模糊方法，其特征在于，所述获取所述离散图像与前景物体轮廓的匹配矩阵，以得到几何变换矩阵，进一步包括：

定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，即

Pevent＝T×PCMOS，

其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；

将所述CMOS相机得到的所述轮廓信息C映射到所述event-based相机的坐标系下，定义为Cevent；

根据所述event-based相机获取得到的所述图像数据K以及所述Cevent计算得到当前时刻下高速移动物体的位姿变换关系w；

通过定义目标函数为E＝||w(Cevent(x,y)-K(x′,y′))||，求取位姿变换的关系w；

通过梯度下降法，使得目标函数最小，获得所述几何变换矩阵w；其中包含旋转变量和平移变量；设定(x,y)与(x′,y′)为对应点，则旋转分分量为：

x ′ y ′ = c o s θ - s i n θ s i n θ cos θ x y , ]]>

其中，旋转角度θ为未知量；

平移分量为：

x ′ y ′ 1 = 1 0 d x 0 1 d y 0 0 1 x y 1 , ]]>

其中，平移量dx和dy为未知量；

联合矩阵可得：

x ′ y ′ 1 = c o s θ - s i n θ d x s i n θ cos θ d y 0 0 1 x y 1 , ]]>

其中，

w = c o s θ - s i n θ d x s i n θ cos θ d y 0 0 1 . ]]>