[发明专利]车载人机交互系统及方法

说明书

技术领域

本发明涉及一种车载系统，尤其涉及一种车载人机交互系统及方法。

背景技术

由于车辆越来越多，且交通规则越来越严苛，而忙碌的工作和生活导致车主在驾驶时由于疲劳或视觉死角等问题，导致违章，甚至交通惨剧的发生。因此，就需要车载系统能为车主提供更多的人性化设计。

发明内容

本发明针对此问题，提供了一种车载人机交互系统及方法，可以对车外状况进行安全提示，还可以接受车内驾驶人的手势控制，提供更加人性化服务。

本发明的车载人机交互系统，包括：前视双目摄像头，用于对车外信息进行采集；激光雷达，安装于车前用于配合所述前视双目摄像头对车外信息进行采集；下视双目摄像头，用于对车主的手势进行采集；存储器，用于存储车主的指定手势或手势运动轨迹及对应的操作；处理器，用于对所述前视双目摄像头与所述激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还用于结合对车主手势的采集通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块执行所对应的操作；执行模块，用于以声光电之一者或结合给出提醒信息、以及执行所述手势对应的操作。

优选地，系统的一部分集成或粘贴或卡扣在后视镜上。

优选地，所述前视双目摄像头，拼接后形成的可视广角范围在150-170度之间。

优选地，所述激光雷达所形成第一道激光面与地面平行高度400mm～500mm，第二道激光面与第一道激光面成1～2度的仰角。

优选地，所述前视双目摄像头与所述激光雷达用于对在不安全距离内的行人与汽车进行监视。

本发明的车载系统的人机交互方法，用于对车外与车内的视觉信息进行识别并提供安全提醒或辅助操作，执行所述方法的系统包括：前视双目摄像头、激光雷达、下视双目摄像头、存储器、处理器；所述方法包括：

1）对车外：将所述前视双目摄像头的坐标与所述激光雷达所获得的坐标进行联合标定；将所述激光雷达的图像数据聚类，去除噪点；通过算法检测聚类后的图像中的行人和汽车，并将检测结果的区域标记感兴趣区域；双目摄像头在感兴趣区域内通过算法检测行人和汽车，并对其运动轨迹做出预判，以提醒驾驶员；

2）对车内：所述下视双目摄像头获得手势信息，由所述处理器通过三维重建确定手指位置，并根据指定手势或手势运动轨迹发出相应指令。

优选地，所述坐标联合标定包括如下步骤：所述激光雷达进行激光束扫描，并将获得的极坐标转换到直角坐标系中；所述前视双目摄像头获得内参数矩阵与外参数矩阵；将车的位置设为世界坐标的原点，通过旋转矩阵和平移向量将所述参数矩阵与所述直角坐标系进行转换，并获得三维的所述世界坐标。

优选地，所述图形数据聚类包括如下步骤：通过划分规则，将空间点集划分为多个子集雷达数据点；利用形状规则，将可能属于同一物体的雷达数据点聚类；将聚类后得到的雷达数据点通过距离变换矩阵投影到图像中。

优选地，所述下视双目摄像头确定手指位置的步骤包括：所述下视双目摄像头的获取手指区域的重叠部分；所述处理器在手指区域的重叠部分中确定唯一的椭圆形；所述处理器通过所述双目摄像头的光心计算所述椭圆形的中心；根据所述重叠部分、切线、下视双目摄像头光心、及椭圆形的中心在三维空间中唯一确定手指的横截面的几何图形。

本发明的车载人机交互系统及方法，通过前视双目摄像头与激光雷达，对车外状况进行监视并进行安全提示，还通过下视双目摄像头接受车内驾驶人的手势控制，提供更加人性化服务。

附图说明

图1是本发明中车载人机交互系统的结构框图。

图2是本发明中车载系统的人机交互方法种车外激光雷达探测模拟图。

图3是本发明中车载人机中摄像头与后视镜的安装位置的示例图。

图4是本发明中与后视镜卡扣部分的实物示例图。

图5是本发明中实现车外信息安全提醒的工作流程图。

图6是本发明中激光雷达的激光束的扫描方式及坐标系的形成示意图。

图7是本发明中激光雷达的聚类示例图。

图8是本发明中车辆聚类点示例图。

图9是本发明中行人聚类点示例图。

图10是双目摄像头的工作原理图。

图11本发明中获取与识别手指横截面的步骤。

图12是本发明中获取与识别手指横截面的过程演示图。

具体实施方式

【人机交互系统的结构框图及部分实体示例图】