[发明专利]一种多功能智能识别车载后视镜

权利要求书

1.一种多功能智能识别车载后视镜，其特征在于：包括：图像处理模块、图像识别模块、FPGA处理器、无线通信模块、GPS模块、显示器和语音提醒模块；

所述图像处理模块包括摄像头I和DSP处理器I；

所述图像识别模块包括摄像头II和DSP处理器II；

所述图像处理模块和图像识别模块分别与FPGA处理器电连接；

所述FPGA处理器分别与无线通信模块、GPS模块、显示器和语音提醒模块电连接。

2.根据权利要求1所述的一种多功能智能识别车载后视镜，其特征在于：所述DSP处理器I包括质量筛选单元和质量转换单元。

3.根据权利要求1所述的一种多功能智能识别车载后视镜，其特征在于：所述FPGA处理器还连接有人脸预处理单元。

4.根据权利要求2所述的一种多功能智能识别车载后视镜，其特征在于：所述摄像头I采集汽车后方的视频流，将采集到的图像输入DSP处理器I中；DSP处理器I用于当采集到的后方图像由于天气因素影响质量较差时，将图像质量由低转高；DSP处理器I将处理后的图像输入FPGA处理器，FPGA处理器输出至显示器显示给驾驶员关注后方车辆情况；

摄像头II采集驾驶员的视频流，将采集到的图像输入DSP处理器II中；DSP处理器II作用是识别驾驶员驾驶状态，当状态被判别为疲劳驾驶时，DSP处理器II与FPGA处理器进行通信；FPGA处理器立即响应，输出信号至语音提醒模块；语音提醒模块接收信号后，立即做出语音提示，提醒驾驶人员；

无线通信模块与云端服务器进行通信，支持用户下载应用软件；GPS模块为用户提供导航应用服务；

摄像头I将采集到的汽车后方的实时图像输入至DSP处理器I进行图像处理；

质量筛选单元对摄像头I采集到的图像进行质量筛选；质量筛选单元对图像的分辨率、信噪比参数进行判断；质量筛选单元对图像的整体质量进行筛选，当图像质量低于某个设定阈值时，质量筛选单元将图像输入给质量转换单元，将低质量的图像转换成高质量的图像；当图像质量高于某个设定阈值时，质量筛选单元直接将图像输出至FPGA处理器；

质量转换单元分别将质量筛选单元筛选出的低质量图像转换成高质量图像。

5.根据权利要求4所述的一种多功能智能识别车载后视镜，其特征在于：所述质量转换单元采用深度学习技术GAN网络；

GAN网络包括生成器和判别器；生成器的输入为低质量图像，输出为生成的高质量图像；判别器的输入为原始高质量图像和生成器生成的高质量图像，判别器用于区分出原始高质量图像和生成器的高质量图像；

生成器和判别器中的网络采用CNN中的ResNet网络结构；对于质量转换问题，生成器采取MSEloss和VGGloss对其进行约束，使得在图像转换时考虑到每一个像素点，考虑图像中的全局信息，还原高质量的图像信息。

6.根据权利要求5所述的一种多功能智能识别车载后视镜，其特征在于：所述GAN网络的训练为：收集各种场景中的车辆后方样本图像，包括高质量与低质量的样本图像，所述样本图像包括天气条件恶劣的后方车辆样本图像；

利用采集到的低质量人脸图像训练生成器，生成假高质量图像，再利用假高质量图像与采集到的高质量图像训练判别器，利用判别loss、MSEloss与VGGloss约束整个GAN网络，当迭代次数不断增多，判别器无法识别处生成器生成的假高质量图像与采集到的高质量图像的差别时，停止训练；质量转换单元I和质量转换单元II采用训练好的生成器，当汽车行驶时，摄像头I采集到低质量的后方图像，生成器自动将低质量的图像转换成高质量的图像供驾驶员参考，防止由于大雾或雨雪天气导致的图像模糊而使驾驶员无法做出判断。

7.根据权利要求4所述的一种多功能智能识别车载后视镜，其特征在于：所述摄像头II将采集到的驾驶员图像输入至DSP处理器II进行图像识别。

8.根据权利要求3所述的一种多功能智能识别车载后视镜，其特征在于：所述人脸预处理单元包括用于人脸关键点检测和人脸对齐；

人脸预处理单元对摄像头II采集到的人脸进行预处理；当采集到的人脸图像角度稍大，需要对人脸图像进行预处理；

人脸关键点检测为：将摄像头II采集到的图像进行人脸检测，得到人脸图像的位置；将得到的人脸图像位置和摄像头II采集到的图像输入人脸关键点检测，得到人脸关键的位置；

人脸对齐为：选取人脸关键点和摄像头II采集到的图像进行人脸对齐，最终得到对齐好的人脸图像；

图像识别单元将对齐好的人脸图像进行识别，识别驾驶员是否处于疲劳驾驶状态；若连续多帧图像均被判别为疲劳驾驶状态则认定司机属于疲劳驾驶状态立即发送信号输出给FPGA处理器；

图像处理单元中的疲劳驾驶识别模型采取ResNet10网络；

训练ResNet10网络需采集大量的驾驶员疲劳驾驶与正常驾驶样本图像；利用疲劳驾驶与正常驾驶样本图像训练ResNet二分类器；当驾驶员的人脸图像输入至ResNet识别器中，若连续多帧识别器均判别驾驶员状态为疲劳驾驶，则DSP处理器II发送响应信号至FPGA处理器等待处理；

FPGA处理器连接DSP处理器II数据接口，得到车辆后方的图像信息然后输出至显示器供驾驶员查看车辆后方实时状态；连接DSP处理器II通信接口响应是否需进行语音提醒，若驾驶员目前状态处于疲劳驾驶则输出信号至语音提醒模块；FPGA处理器连接DSP处理器I和DSP处理器II的方式包括是总线方式和链路口方式；FPGA处理器的通信接口与无线通信模块连接，对用户需要下载的娱乐软件进行响应，通过无线通信模块与远方云端服务器通信下载相应软件；FPGA处理器的数据接口连接GPS模块，当用户开启导航服务时，实时定位位置信息；

语音提醒模块连接FPGA处理器的通信接口，当接收到“提醒”指令时，开启语音提醒模块，以人声或蜂鸣声提醒驾驶员注意不要疲劳驾驶。