[发明专利]基于语音及图像处理的道路违规自动上报方法及系统

说明书

本发明涉及人工智能技术领域，提出一种基于语音及图像处理的道路违规自动上报方法、系统、电子装置及计算机可读存储介质，其中的方法包括：通过自然语言处理和自然语言生成获取用户意图；根据用户意图获取行车记录仪中的待上报图像；通过卷积神经网络获取待上报图像对应的分类信息；通过比较待上报图像对应的分类信息与预设的违规标准图像，判断待上报图像是否属于违规图像；如果待上报图像属于违规图像，则对待上报图像做上报处理。此外，本发明还涉及区块链技术，预设的违规标准图像可存储于区块链中。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于语音及图像处理的道路违规上报方法、系统、电子装置及计算机可读存储介质。

背景技术

在车辆行车过程中，对于车辆违规的情况一般通过摄像头拍摄才可以对违章者进行处罚，而在无摄像头的情况，违章情况数不胜数，比如：车辆在无摄像头路段行驶在应急车道上，或者在高速上不打灯进行变道等等。对于上述这种摄像头捕捉不到违规的情况，车主都表示无可奈何，因为违规上报流程较为繁琐，并且在行驶过程中无法实时的进行违规情况的上报，多半是行驶结束后进行举报，或者事后忘记上报违规情况。

虽然大多数的车主都会安装行车记录仪，但是行车记录仪的记录截取复杂及操作流程繁琐，为上报违规情况带来很多麻烦。

基于上述存在的各种问题，发明人意识到传统的道路违规上报方法不能满足车主的需求，因此亟需一种路违规自动上报方法解决上述问题。

发明内容

本发明提供一种基于语音及图像处理的道路违规自动上报方法、系统、电子装置及计算机可读存储介质，其主要目的在于通过自然语言处理和自然语言生成对语音进行处理，以及卷积神经网络对行车记录仪拍摄到的图像进行处理，获取违规图像，从而解决现有的道路违规上报流程复杂繁琐不能满足车主的需求的问题。

此外，为实现上述目的，本发明提供一种基于语音及图像处理的道路违规自动上报方法，应用于电子装置，所述方法包括：

通过自然语言处理和自然语言生成对用户语音进行处理，获取用户意图；

根据所述用户意图获取行车记录仪中的待上报图像；

通过卷积神经网络对所述待上报图像进行处理，获取所述待上报图像对应的分类信息；

通过比较所述待上报图像对应的分类信息与预设的违规标准图像，判断所述待上报图像是否属于违规图像；

如果所述待上报图像属于违规图像，则对所述待上报图像做上报处理。

优选地，所述通过自然语言处理和自然语言生成对用户语音进行处理，获取用户意图的步骤包括：

通过所述自然语言处理对所述用户语音进行处理，将所述用户语音转化为文本；

通过所述自然语言生成对所转化的文本进行分析，获取所述文本中表示用户文字信息。

优选地，所述通过所述自然语言处理对所述用户语音进行处理，将所述用户语音转化为文本的步骤包括：

将所述用户语音预处理后并进行特征提取；

将提取的特征与语音模型库中的语音信号进行模式匹配，实现用户语音向文本的转化。

优选地，所述通过所述自然语言生成对所转化的文本进行分析，获取所述文本中表示用户文字信息的步骤包括：

利用构建的深度学习模型对接收到的文本的多个词组结合语境进行上下文理解、语义消歧，获取多个词组的语义结果；

将所述多个词组的语义结果分别与知识图谱的词组进行比对，获取每个词组的相似度值；

将相似度值最高的词组作为每个词组的语义结果，进一步获取多个词组的语义结果；