[发明专利]一种带有图像理解的智能语音车载交互系统

说明书

技术领域

本发明涉及一种带有图像理解的智能语音车载交互系统，属于信息技术领域，主要涉及物联网、车联网、移动互联网、网络通讯、数据库、智能语音、自然语言理解、图像理解。

背景技术

近年来，随着移动网络的发展和移动智能终端设备的广泛使用，利用移动智能终端的卫星定位及无线通信功能构建的车联网，实现更多更复杂功能已是必然趋势。但是拥有众多功能的车载终端系统需要驾驶员更多更复杂的交互操作，进行这些操作的时候，驾驶员一般无法目视前方，因此增加了出现交通意外的风险。因此需引入其他措施以使得相关信息更够更好地与驾驶员交互。

发明内容

本发明目的在于提供一种带有图像理解的智能语音车载交互系统，以提供一种前所未有的辅助驾驶体验。

为实现上述目的，本发明提供了一种带有图像理解的智能语音车载交互系统，该带有图像理解的智能语音车载交互系统包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统。

所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，用于整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互。

为了进一步提高性能，所述的车载移动终端用于接收该车辆周边路况图像信息和需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据，并通过车载无线网关发送至车联网云平台，同时通过车载无线网关接收车联网云平台的图像理解引擎实时处理的交通路况信息和根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源等其他用户需求响应的语音反馈信息，并与用户进行该功能的智能语音交互，包括车载图像接收模块、在线语音接收模块、车载图像发送模块、在线语音发送模块、语音反馈信息接收模块、在线语音播放模块；

其中，所述的车载图像接收模块，通过车载摄像头拍摄车辆周围路况视频，接收该车辆周边路况图像信息；

所述的在线语音接收模块，通过采集用户的语音数据，接收用于需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的车载图像发送模块，用于接收车载图像接收模块接收的车辆周边路况图像信息，并通过车载无线网关发送至车联网云平台；

所述的在线语音发送模块，用于接收在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的语音反馈信息接收模块，通过车载无线网关接收语音反馈信息发送模块发送的语音信号；

所述的在线语音播放模块，用于将在线语音合成引擎的合成结果播放给用户；

为了进一步提高性能，所述的车联网云平台，一方面，通过车载无线网关接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别，另一方面，利用图像理解引擎将通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息和实时视频监控模块实时采集当前车辆周边道路视频监控图像进行分析，实现图像的语义理解，并接收其他用户需求响应模块根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息合成为语音信号，包括云端车载图像接收模块、云端语音接收模块、在线语音识别引擎、实时视频监控模块、图像理解引擎、其他用户需求响应模块、在线语音合成引擎、语音反馈信息发送模块；

其中，所述的云端车载图像接收模块，通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息；

所述的云端语音接收模块，通过车载无线网关在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；

所述的在线语音识别引擎，对云端语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别；

所述的实时视频监控模块，汇集道路视频监控图像，根据车辆GPS定位，实时采集当前车辆周边道路视频监控图像；

所述的图像理解引擎，整合云端车载图像接收模块接收的车辆周边路况图像信息和实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，对其进行分析，实现图像的语义理解；

所述的其他用户需求响应模块，根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息；

所述的在线语音合成引擎，将图像理解引擎输出的信息和车联网云平台对用户其他需求的响应，合成为语音信号；