[发明专利]一种汽车摄像的图像多模态取景方法及系统

说明书

本发明公开了一种汽车摄像的图像多模态取景方法及系统，用户通过行为控制车机系统启动图像眼神取景服务触发拍摄功能，用户基于内置车辆摄像系统的图像识别或车机系统中的语音识别进行多模态取景，生成对应的结果图像数据，多模态取景包括根据眼神模式取景服务、手势模式取景服务以及语音模式取景服务，本发明在获取多模态取景操作信息后，通过分析用户多模态取景操作的当前行为信息，智能自动化的分割出用户当前行为状态下对应的车外画面图像，进而避免了用户手动取景的繁琐和行车危险，提高了用户驾驶感受，有利于在智能车机中应用推广。

技术领域

本发明涉及汽车图像处理技术领域，特别是一种应用于汽车外置摄像相机的多模态取景方法及系统。

背景技术

用户在行车过程中需要对车外的一些场景画面进行拍照或录像显示，目的主要是保存图像信息或实时观察车辆周围的路况画面情况；目前触发摄像的方式通常是通过按钮或接收生物信息进行触发，例如按键指令、语音指令或手势指令，但是传统的车载相机拍摄照片或视频时，没有取景的功能，拍出来的照片或视频的角度是固定的，造成驾驶人员得不到想要的摄像信息，若要选定摄像图像中的预选区域，需要用户的双手操纵车机系统来取景，不仅操作繁琐，且影响驾驶安全，所以针对汽车外置相机拍照无法取景的问题，现阶段还缺少一种智能自动化的汽车外置摄像图像的取景方法及系统。

发明内容

鉴于上述现有的汽车图像处理中存在的问题，提出了本发明。

因此，本发明其中的一个目的是提供一种汽车摄像的图像多模态取景方法及系统，通过车内摄像头采集车内用户的画面，通过图像算法判定用户身体的姿态、面部朝向，以及目视方向，分析用户观看车外的视角，进而进行眼神目视视角范围内的拍摄取景，智能自动化的分割出用户眼神目视方向而观看的车外画面图像。

为解决上述技术问题，本发明提供如下技术方案：

第一方面，提供了一种汽车摄像的图像多模态取景方法，应用于车载系统，该方法包括以下步骤：

至少一个用户通过行为控制车机系统启动多模态取景服务触发拍摄功能，即通过外置车辆摄像系统采集车辆外部的图像数据，将车辆外部的图像数据拼合成车辆外部全景画面的图像数据，同时将全景画面的图像数据进行缓存，且缓存至车机系统后待处理；用户基于内置车辆摄像系统的图像识别或车机系统中的语音识别进行多模态取景，所述多模态取景是在启动多模态取景服务后的预设时间内，根据所述图像识别或语音识别确定用户当前取景行为，并基于对应的所述用户当前取景行为，在缓存的全景画面的图像数据上进行生成对应的结果图像数据；其中，所述多模态取景包括根据眼神模式取景服务、手势模式取景服务以及语音模式取景服务。

作为本发明的一种优选方案，其中：所述眼神取景服务是通过内置车辆摄像系统确定对应的用户视线方向，同时生成所述用户视线方向范围内的图像数据，即基于上述车机系统中缓存的全景画面的图像数据，以所述用户视线方向为中心，分割全景状态下用户的视线方向范围，根据视线方向范围将全景画面的图像数据进行裁剪，生成眼神图像取景的结果图像数据并呈现；

所述手势模式取景服务是通过内置车辆摄像系统确定对应的用户手势指引的方向，同时生成所述用户手势指引范围内的图像数据，即基于上述车机系统中缓存的全景画面的图像数据，以所述用户手势指引方向为中心，分割全景状态下用户的手势指引方向范围，根据手势指引方向范围将全景画面的图像数据进行裁剪，生成手势图像取景的结果图像数据并呈现；

所述语音模式取景服务是通过车机系统中的语音识别确定对应的用户语音信息，语音信息为语音取景方位的指令信息，根据所述语音取景方位的指令信息生成语音取景方位范围内的图像数据，即基于上述车机系统中缓存的全景画面的图像数据，以所述用户语音信息指引方向为中心，分割全景状态下用户的语音信息指引方向范围，根据语音信息指引方向范围将全景画面的图像数据进行裁剪，生成语音信息图像取景的结果图像数据并呈现。