[发明专利]基于现实路况信息三维建模的车载多模式增强现实系统

权利要求书

1.一种基于现实路况信息三维建模的车载多模式增强现实系统，其特征在于，包括：实时路况信息采集单元、周围环境建模单元、虚拟现实模拟单元、安全提示单元和紧急处理单元；其中，

所述安全提示单元包括评估模块和操作台，所述操作台用于通过人机交互界面进行虚拟主题娱乐模式的切换，并且显示实际的实时路况信息；所述评估模块用于根据当前路况信息判断当前路段是否可以切换到虚拟主题娱乐模式，如果可以切换到虚拟主题娱乐模式，则向所述周围环境建模单元与所述紧急处理单元发送模拟开启信号；

所述紧急处理单元包括环绕布置于车身周围的超声波雷达、安装于车身上的车速传感器和制动信号发送模块，所述车速传感器用于检测车体的当前车速，所述超声波雷达用于检测障碍物与车体之间的距离，所述制动信号发送模块用于在障碍物与车体之间的距离小于该当前车速下的安全距离时，向制动系统的执行器发送制动信号；

所述实时路况信息采集单元包括实时路况采集摄像头、激光雷达、交通信号识别摄像头、车道线识别摄像头和驾驶员视觉定位双目摄像头；其中，

所述实时路况采集摄像头布置在车身的前、后方及两侧，用于采集车辆周围环境的RGB图像；

所述激光雷达安装在车身顶部，用于实时采集车辆周围环境的点云信息；所述交通信号识别摄像头安装在车身顶部，用于捕捉与识别交通信号灯；

所述车道线识别摄像头安装在车身的前侧与两侧，用于识别车道线；

所述驾驶员视觉定位双目摄像头安装于驾驶员的前上方，用于通过识别驾驶员的眼睛，基于自身位置坐标进行坐标转换，得到本车坐标系下驾驶员眼部的位置坐标；

所述周围环境建模单元包括三维实景模型构建模块、障碍物提取分辨模块、静态障碍物更换模块和动态障碍物更换模块；其中，

所述三维实景模型构建模块用于根据所述激光雷达采集到的周围环境的点云信息，以所述激光雷达为中心，建立无色彩信息的三维实景模型；

所述障碍物提取分辨模块用于从所述实时路况采集摄像头所捕捉到的RGB图像中提取障碍物，根据障碍物分类识别算法将对障碍物进行分类和定位，障碍物分为静态障碍物和动态障碍物两类；其中，

所述静态障碍物的信息用一个数组进行表示O_{static 1}、O_{static 2}、…、O_{static k}(x_k，y_k，m_k，υ_xk，υ_yk)、…、O_{static n}，x_k为编号为k的静态障碍物在本车坐标系下的x坐标；y_k为编号为k的静态障碍物在本车坐标系下的y坐标；m_k为编号为k的静态障碍物的类型；s_k为静态障碍物的尺寸参数，不同m_k的障碍物取不同的特征尺寸作为其尺寸参数；n_staitc为静态障碍物的总数；

所述动态障碍物的信息用一个数组进行表示O_dynamic1、O_dynamic2、…、O_{dynamic k}(x_k，y_k，m_k，v_xk，v_yk)、…、O_{dynamic n}，x_k为编号为k的动态障碍物在本车坐标系下的x坐标；y_k为编号为k的动态障碍物在本车坐标系下的y坐标；m_k为编号为k的动态障碍物的类型；s_k为动态障碍物的尺寸参数，不同m_k的障碍物取不同的特征尺寸为其尺寸参数；v_xk为速度矢量在x方向的分量；v_yk为速度矢量在y方向的分量；

所述静态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E，虚拟环境E以本车坐标系坐标原点为中心进行静态障碍物替换，根据静态障碍物序号从1至n_staitc进行依次替换，在替换的过程中，根据静态障碍物的类型m_k，在对应的静态障碍物模型库中随机选取三维模型C_k，根据检测到的障碍物的尺寸参数s_k将三维模型C_k拉伸倍，再将三维模型C_k放置于虚拟环境E本车坐标系中对应的位置处；

所述动态障碍物更换模块用于根据三维图像引擎生成三维虚拟环境E，虚拟环境E以本车坐标系坐标原点为中心进行动态障碍物替换，根据动态障碍物序号从1至n_staitc进行依次替换，在替换的过程中，根据动态障碍物的类型m_k，在对应的动态障碍物模型库随机选取三维模型C_k，根据检测到的障碍物的尺寸参数s_k将三维模型C_k拉伸倍，再将三维模型C_k放置于虚拟环境E本车坐标系对应的位置处，并根据速度矢量(v_xk，v_yk)调整三维模型C_k的方向，以及根据速度矢量(v_xk，v_yk)播放运动动画；

所述虚拟现实模拟单元包括三块透明oled显示屏、可视窗口相机、视线偏角获取模块、二维图像生成模块和二维图像发送模块；其中，

三块透明oled显示屏分别贴在车内的前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃上，前挡风玻璃、驾驶侧玻璃和副驾驶侧玻璃在本车坐标系下的中心位置坐标分别为W₁、W₂、W₃；

所述可视窗口相机安置于所述驾驶员视觉定位双目摄像头所得到的本车坐标系下驾驶员眼部的位置坐标H处；

所述视线偏角获取模块用于根据所述驾驶员视觉定位双目摄像头采集的驾驶员眼部的位置坐标H与W₁、W₂、W₃，可以得到三块透明oled显示屏上的显示图像在三维图像引擎中本车坐标系下的视线偏角θ₁、θ₂、θ₃；

所述二维图像生成模块用于驾驶员眼部的位置坐标H以及三块透明oled显示屏对应的视线偏角θ₁、θ₂、θ₃在三维图像引擎的虚拟环境E中生成第一分割图像、第二分割图像、第三分割图像；

所述二维图像发送模块用于将第一分割图像、第二分割图像、第三分割图像分别发送给对应的透明oled显示屏进行显示。