[发明专利]一种带有图像理解的智能语音车载交互系统

权利要求书

1.一种带有图像理解的智能语音车载交互系统，包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统，其特征在于：所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，用于整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互；所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端，用于显示无需联网可完成的用户需求语音交互。

2.根据权利要求1所述的一种带有图像理解的智能语音车载交互系统，其特征在于：所述的车载移动终端用于接收该车辆周边路况图像信息和需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据，并通过车载无线网关发送至车联网云平台，同时通过车载无线网关接收车联网云平台的图像理解引擎实时处理的交通路况信息和根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源等其他用户需求响应的语音反馈信息，并与用户进行该功能的智能语音交互，包括车载图像接收模块、在线语音接收模块、车载图像发送模块、在线语音发送模块、语音反馈信息接收模块、在线语音播放模块； 其中，所述的车载图像接收模块，通过车载摄像头拍摄车辆周围路况视频，接收该车辆周边路况图像信息；所述的在线语音接收模块，通过采集用户的语音数据，接收用于需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的车载图像发送模块，用于接收车载图像接收模块接收的车辆周边路况图像信息，并通过车载无线网关发送至车联网云平台；所述的在线语音发送模块，用于接收在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的语音反馈信息接收模块，通过车载无线网关接收语音反馈信息发送模块发送的语音信号；所述的在线语音播放模块，用于将在线语音合成引擎的合成结果播放给用户。

3.根据权利要求1所述的一种带有图像理解的智能语音车载交互系统，其特征在于：所述的车联网云平台，一方面，通过车载无线网关接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别，另一方面，利用图像理解引擎将通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息和实时视频监控模块实时采集当前车辆周边道路视频监控图像进行分析，实现图像的语义理解，并接收其他用户需求响应模块根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息合成为语音信号，包括云端车载图像接收模块、云端语音接收模块、在线语音识别引擎、实时视频监控模块、图像理解引擎、其他用户需求响应模块、在线语音合成引擎、语音反馈信息发送模块；其中，所述的云端车载图像接收模块，通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息；所述的云端语音接收模块，通过车载无线网关在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的在线语音识别引擎，对云端语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别；所述的实时视频监控模块，汇集道路视频监控图像，根据车辆GPS定位，实时采集当前车辆周边道路视频监控图像；所述的图像理解引擎，整合云端车载图像接收模块接收的车辆周边路况图像信息和实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，对其进行分析，实现图像的语义理解；所述的其他用户需求响应模块，根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息；所述的在线语音合成引擎，将图像理解引擎输出的信息和车联网云平台对用户其他需求的响应，合成为语音信号；所述的语音反馈信息发送模块，用于接收在线语音合成引擎合成为语音信号，并通过车载无线网关发送至语音反馈信息接收模块。

4.根据权利要求1所述的一种带有图像理解的智能语音车载交互系统，其特征在于：所述的车载无线网关，分别与车联网云平台和车载移动终端连接，用于实现车载移动终端和车联网云平台之间的无线通信功能；所述的互联网，与车联网云平台连接，用于获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源。

5.根据权利要求1所述的一种带有图像理解的智能语音车载交互系统，其特征在于：所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端，用于显示无需联网可完成的用户需求语音交互；其中，所述的离线语音接收模块，通过采集用户的语音数据，接收用于控制汽车车窗、空调、广播等的用户基础语音控制命令；所述的车辆OBD接口，用于输出包括车速、转速、油耗等车况参数信息；所述的离线语音识别引擎，用于对离线语音接收模块接收的用于控制汽车车窗、空调、广播等的用户基础语音控制命令进行理解、识别；所述的离线语音合成引擎，用于将车辆OBD接口输出的车况参数信息和执行离线语音控制命令后汽车对用户的需求响应，合成为语音信号；所述的离线语音播放模块，用于将离线语音合成引擎的合成结果播放给用户；所述的车载移动终端，根据OBD协议与车辆OBD接口通信，并在在本地离线状态进行OBD信息以及简单语音识别、简单语音合成的信息处理。