[发明专利]基于单目图像的三维目标检测系统及方法

权利要求书

1.一种基于单目图像的三维目标检测系统，其特征在于，包括：二维框检测模块、二维修正模块以及用于将二维映射三维的标定摄像头投影矩阵模块，三维目标框进一步修正模块，其中：二维框检测模块与深度特征相连进行二维信息预测并传输二维目标框、接地点等信息，二维修正模块与二维框检测模块相连进行进一步修正二维预测信息，投影矩阵映射模块与二次修正模块相连进行将二维点映射到摄像头坐标系下的三维点处理并传输三维目标框信息，三维目标框修正模块与投影矩阵映射模块相连进行三维目标框修正处理，最终系统输出精确的三维目标框；

所述的映射，具体是指：

4.1)由于网络学习的是编码过后目标的信息，故首先解码目标的二维框的预测值(c_x，c_y，width，height)、三维目标框的底部四个点的映射值以及目标接地点的真实偏移量/具体为：c_x＝predict_x*p_w+p_cx，c_y＝predict_y*p_h+p_cy，width＝exp(predict_w)*p_w，height＝exp(predict_h)*p_h，/i＝0，1，2，3，/j＝0，1，2，3，/m₁₁wx+m₁₃w_z-uz＝(-m₁₂w_y-m₁₄)，m₂₁w_x+m₂₃w_z-vz＝(-m₂₂w_y-m₂₄)，m₃₁w_x+m₃₃w_z-z＝(-m₃₂w_y-m₃₄)，/X＝[w_x，w_y，z]^T，B＝[-m₁₂w_y-m₁₄，-m₂₂w_y-m₂₄，-m₂₂w_y-m₂₄]，X＝A^-1B，其中：/m_ij为世界坐标系到图像坐标系下的投影矩阵，有摄像机标定得到，w_i为世界坐标系下的坐标值，有上述公式可以得到每个接地点的在摄像机坐标系三维坐标；

4.2)鉴于三维目标框的8个角点在图像坐标系下投影一定在二维检测框内的先验知识，求出每个目标的真实高度，即当目标的真实高度范围为：[h_min，h_max]，当(|h_max-h_min|＞0.01)时，设置y_min1＝Reconstruction(h_mid)，y_min2＝Reconstruction(h_{mid_mid})；当(|y_min1-y_{src_min}|＜|y_min2-y_{src_min}|)时，设置h_max＝h_{mid_mid}，否则其中：Reconstruction函数输入一个h值，重建出新的三维目标框，再将其映射到图像系坐标下，得到三维目标框的8个角点v方向在二维图像坐标系的最小值y_min，初始的h_min，h_max为生活中实际目标的高度的最大和最小先验值，最终重构出摄像头坐标系下的三维目标框的信息：(x，y，z，l，w，h，yaw)。