[发明专利]基于计算机视觉的汽车充电桩界面检测智能交互系统

说明书

本发明属于汽车充电桩出厂质量检测领域，具体方案为：基于计算机视觉的汽车充电桩界面检测智能交互系统，具体步骤为：一、拍摄充电桩屏幕界面获得实时画面，并进行三维重建得到深度信息；二、使用卷积神经网络对现有充电桩屏幕界面样本进行文字检测与界面定位，得到充电桩屏幕界面类别信息与文本行信息；三、将类别信息与文本行信息送入并行多模型文字识别网络中，提取关键信息并记录文本行中心点坐标；四、将文本识别结果与指令内容匹配，得到需要点击的内容；五、寻找文本行中心点坐标，并从深度图中进行深度采样，获得中心点的三维坐标；六、借助ROS平台进行静态坐标转换；七、机械臂根据坐标点击充电桩屏幕，完成操作，速度快，准确率高。

技术领域

本发明属于汽车充电桩出厂质量检测技术领域，具体涉及一种基于计算机视觉的汽车充电桩界面检测智能交互系统。

背景技术

随着社会经济的不断发展，能源紧缺和环境污染问题日趋严重，为了应对全球变暖和能源枯竭等问题，新能源电动汽车应运而生。同时，充电桩作为电动汽车补给电能的重要设施也得到了迅猛发展，我国也在积极推进充电桩等基础设施的建设。因此，需要健全和加强充电设备的质量管理。

为确保充电桩能够安全可靠地服务用户，充电桩在出厂前的功能测试尤为重要，其中，测试其操作界面能否正确显示和切换是非常关键的。目前，主要采取人工逐个检查的方式，这种方式存在以下三方面的缺点：

1）、充电桩出场前均处于未安装状态，没有完备的安全防护装，存在发生漏电的危险，对工人的生命安全造成极大威胁。

2）、充电桩界面种类繁多，结构多样，切换顺序复杂且速度快，界面上文字大小不一，字体多样等因素都会降低人工测试效率，且存在较大的主观误差。

3）、阶段充电桩检测大都是基于充电桩内部硬件功能和通信协议的检测，还未有模拟用户去使用包装完好的充电桩整个过程的测试系统。

对于充电桩屏幕显示系统来说，在出厂前也需要进行质量检测。因此，急需开发一种高智能化，高集成化，高自动化的充电桩检测系统。

发明内容

为解决现有技术存在的技术问题，本发明提供了基于计算机视觉的汽车充电桩界面检测智能交互系统，来测试出厂前充电桩的人机交互功能。

本系统分为界面感知模块、机械臂控制模块和云平台管理系统，其中，界面感知模块可以实现界面实时定位，界面文字检测，界面位置矫正，界面分类，关键信息提取和识别六个功能。界面感知模块可以提取各个文字按钮的位置信息，实时传送给机械臂控制模块，控制其去触碰对应按钮完成界面切换，同时，将提取到的关键信息送往云平台进行监测和分析。

针对于界面感知模块的文字检测部分，本系统采用了一种新型多任务结构，并用快速模板匹配算法实现界面分类以及关键信息提取，在文字识别部分，采用了一种并行的多模型识别网络结构，与人工检测相比，本系统极大地提高了充电桩检测过程的效率，减少了成本消耗和防止安全隐患发生。

为实现上述目的，本发明所采用的技术方案为：基于计算机视觉的汽车充电桩界面检测智能交互系统，通过并行多模型识别网络完成文字识别，经mqtt协议推送订阅指令，匹配关键信息，实现ROS静态坐标转换，控制机械臂点击屏幕操作，具体步骤如下：

一、基于现有充电桩屏幕界面样本，使用卷积神经网络训练多任务网络；

二、基于现有充电桩屏幕文本行样本，使用卷积神经网络训练并行多模型文字识别网络；

三、双目相机拍摄充电桩屏幕界面实时画面，并对其进行三维重建得到深度信息，之后使用步骤一得到的多任务网络进行文字检测与界面定位，得到充电桩屏幕文本行信息与界面类别信息，送往步骤二得到的并行多模型文字识别网络识别，提取关键信息，同时记录文本行中心点坐标；

四、服务器经mqtt协议，发送json类型的指令文件，本地接收并将文本识别结果与指令内容进行匹配，得知此时需要点击的内容；