[发明专利]车载人机交互系统及方法

摘要

本发明提供一种车载人机交互系统，包括前视双目摄像头与激光雷达，对车外信息进行采集；下视双目摄像头，对车主的手势进行采集；存储器，存储车主的指定手势或手势运动轨迹及对应的操作；处理器，对所述前视双目摄像头与激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还根据所述存储器对下视双目摄像头所采集的手势进行识别，并当识别到指定手势或手势运动轨迹后通知执行模块执行所对应的操作；执行模块，以声光电之一者或结合给出提醒信息、以及执行手势对应操作。还提供了一种车载系统的人机交互方法。通过本系统及方法，对车外状况进行安全提示，还可以接受车内驾驶人的手势控制，提供更加人性化服务。

主权项

一种车载人机交互系统，其特征在于，所述车载人机交互系统包括：前视双目摄像头，用于对车外信息进行采集；激光雷达，安装于车前用于配合所述前视双目摄像头对车外信息进行采集；下视双目摄像头，用于对车主的手势进行采集；存储器，用于存储车主的指定手势或手势运动轨迹及对应的操作；处理器，用于对所述前视双目摄像头与所述激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，将前视双目摄像头的坐标与所述激光雷达所获得的坐标进行联合标定，所述坐标联合标定包括如下步骤：所述激光雷达进行激光束扫描，并将获得的极坐标转换到直角坐标系中；所述前视双目摄像头获得内参数矩阵与外参数矩阵；将车的位置设为世界坐标的原点，通过旋转矩阵和平移向量将所述参数矩阵与所述直角坐标系进行转换，并获得三维的所述世界坐标；将所述激光雷达的图像数据聚类，所述激光雷达图像数据的聚类包括：通过划分规则，将空间点集划分为多个子集雷达数据点，使每个子集中的点在划分规则下是相似的；利用形状规则，将可能属于同一物体的雷达数据点聚类；将聚类后得到的雷达数据点通过距离变换矩阵投影到图像中；通过算法检测聚类后的图像中的行人和汽车，并将检测结果的区域标记感兴趣区域；具体为利用透视变换将聚类投影到图像上得到感兴趣区域，利用车辆形状对聚类的图像判定和点云分析算法将更加接近车辆和行人模型的聚类作为兴趣区域；前视双目摄像头再根据感兴趣区域结合视觉算法进行检测跟踪；通过行人特征和分类器图像计算的方法结合激光雷达连续的图像反馈来进行进一步检测跟踪；如果检测到是一群人或者无法剔除的噪点的时候也将其设为感兴趣区域；还用于结合对车主手势的采集，通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块执行所对应的操作；执行模块，用于以声光电之一者或结合给出提醒信息、以及执行所述手势对应的操作。