[发明专利]一种人机混合智能驾驶系统

权利要求书

1.一种人机混合智能驾驶系统，其特征在于，包括传感子系统、行为识别子系统、指令子系统和控制子系统，所述传感子系统用于采用传感器获取车辆运行状态信息和当前路况信息，并将车辆运行状态信息和当前路况信息发送至控制子系统，所述行为识别子系统用于对驾驶员的人体行为进行识别，所述指令子系统用于将人体行为转化为驾驶指令，并将驾驶指令发送至控制子系统，所述控制子系统用于根据车辆运行状态信息、当前路况信息和驾驶指令对车辆进行控制。

2.根据权利要求1所述的人机混合智能驾驶系统，其特征在于，所述行为识别子系统包括图像采集模块、图像融合模块、特征提取模块、行为识别模块，所述图像采集模块采用可见光、红外多波段成像系统对人体图像进行采集，所述图像融合模块用于对可见光图像和红外图像进行融合，获取彩色融合图像，所述特征提取模块用于根据彩色融合图像提取人体目标轮廓，所述行为识别模块用于根据人体目标轮廓对人体行为进行识别。

3.根据权利要求2所述的人机混合智能驾驶系统，其特征在于，所述图像融合模块包括第一融合模块、第二融合模块、第三融合模块，所述第一融合模块在非下采样轮廓波变换域对可见光图像和红外图像进行融合，获取灰度融合图像，所述第二融合模块根据灰度融合图像获取伪彩色融合图像，所述第三融合模块根据伪彩色融合图像获取彩色融合图像。

4.根据权利要求3所述的人机混合智能驾驶系统，其特征在于，所述第一融合模块在非下采样轮廓波变换域对可见光图像和红外图像进行融合，具体为：

对可见光图像P和红外图像Q进行非下采样轮廓波分解，得到对应的子带分解系数和L^P和L^Q分别表示可见光图像和红外图像的低频子带系数，和分别表示可见光和红外图像第j个尺度高频子带中第k个方向的子带系数；

对低频子带采用下式进行融合：

式中，L^R(x,y)表示灰度融合图像R对应的低频子带系数，其中，p表示红外图像的平均灰度值，H(x,y)表示红外图像中像素点(x,y)的灰度值；

对高频子带采用下式进行融合：

式中，表示融合灰度融合图像R的方向子带系数，v^P(x,y)表示可见光图像以像素点(x,y)为中心的n×n窗口内方向子带系数的方差值，v^Q(x,y)表示红外图像以像素点(x,y)为中心的n×n窗口内方向子带系数的方差值；

根据灰度融合图像的低频子带系数和高频子带系数重构出灰度融合图像R。

5.根据权利要求4所述的人机混合智能驾驶系统，其特征在于，所述第二融合模块根据灰度融合图像获取伪彩色融合图像，具体为：

采用下式在YUV颜色空间获取伪彩色融合图像：

式中,Y(x,y)、U(x,y)、V(x,y)分别表示伪彩色融合图像在YUV颜色空间的分量，R(x,y)表示可见光图像和红外图像的灰度融合图像，P(x,y)表示可见光图像，Q(x,y)表示红外图像。

6.根据权利要求5所述的人机混合智能驾驶系统，其特征在于，所述第三融合模块根据伪彩色融合图像获取彩色融合图像，具体为：

将一幅自然日光条件下拍摄的彩色可见光图像作为参考图像，并将该参考图像变换至YUV颜色空间，根据参考图像在YUV颜色空间各通道内的灰度均值和方差，调整伪彩色融合图像对应的YUV分量值，得到调整后的伪彩色融合图像，具体采用下式进行：

式中,S和W分别对应参考图像和伪彩色融合图像，Y₁(x,y)、U₁(x,y)、V₁(x,y)分别表示调整后的伪彩色融合图像在YUV颜色空间的分量，μ和σ分别表示YUV颜色空间内各颜色通道的灰度均值和方差；

将调整后的伪彩色融合图像从YUV颜色空间变换到RGB颜色空间，得到彩色融合图像。