[发明专利]基于计算机视觉的汽车充电桩界面检测智能交互系统

权利要求书

1.基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，具体步骤如下：

一、通过双目相机拍摄充电桩屏幕界面获得实时画面，并对实时画面进行三维重建得到深度信息；

二、基于实时画面的现有充电桩屏幕界面样本，使用卷积神经网络训练多任务网络，多任务网络对现有充电桩屏幕界面样本进行文字检测与界面定位，得到充电桩屏幕界面类别信息与文本行信息；

三、使用卷积神经网络训练并行多模型文字识别网络，将步骤二中得到的充电桩屏幕界面类别信息与文本行信息送入并行多模型文字识别网络中，提取关键信息并记录文本行中心点坐标；

四、本地接收步骤三中的文本识别结果，并将文本识别结果与服务器发送的指令内容进行匹配，得到此时需要点击的内容；

五、通过步骤四获知的点击内容寻找步骤三中所对应的文本行中心点坐标，并从双目相机的深度图中进行深度采样，获得中心点的三维坐标；

六、借助ROS平台进行静态坐标转换，完成相机坐标系下中心点坐标到机械臂坐标系下坐标的转换；

七、机械臂根据步骤六中的坐标完成充电桩屏幕的点击操作，并通知服务器操作完成。

2.根据权利要求1所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，所述服务器经mqtt协议发送json类型的指令文件。

3.根据权利要求2所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，所述机械臂的控制分为工厂流水线式控制模块与便携式机械臂控制模块，工厂流水线式控制模块采用六自由度机械臂完成操作，便携式机械臂控制模块采用可移动的三轴小型机械臂完成操作。

4.根据权利要求3所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在步骤二中，对现有的充电桩屏幕界面进行裁切，对裁切后的样本进行数据增强，并将增强后的图像大小调整至600*600像素，调整后的图像送入多任务网络中进行训练。

5.根据权利要求4所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，并行多模型文字识别网络根据现有的充电桩屏幕文本序列进行数据增强，而后缩放或填充至32*280像素，调整后的充电桩屏幕文本序列送入并行多模型文字识别网络中进行训练，根据充电桩屏幕文本序列的长度、字体、大小和所在位置，将文本行分为不同属性，每种属性采用不同的模型，每一种模型的基本结构为CRNN结构，CNN模型采用DenseNet来提取文字序列图像特征，RNN模型采用Bi-LSTM对特征矢量进行融合，最后用CTC对文字序列进行译码和预测。

6.根据权利要求4所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在步骤五中，深度采样方法的具体步骤为：由双目相机采集的深度图得到二维像素坐标到三维相机坐标的变换，即深度图不同的通道分别表示该像素点的信息，采用以该像素点为中心点的7*7的正方形像素阵进行深度采样，经平滑滤波，取平均值作为该点对应的三维相机坐标。

7.根据权利要求6所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在工厂流水线式控制模块中，六自由度机械臂借助ROS平台中的MoveIt工具进行机械臂建模、碰撞检测配置、运动规划关节组配置、初始化位置配置和路径规划。

8.根据权利要求6所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在便携式机械臂控制模块中，指令转换成G代码格式，使用串口发送给机械臂完成点击屏幕操作，待机械臂控制模块完成屏幕点击操作时，通知服务器操作完成。

9.根据权利要求8所述的基于计算机视觉的汽车充电桩界面检测智能交互系统，其特征在于，在便携式机械臂控制模块中，本地端在获知目标点坐标后，将坐标信息发送给机械臂，首先是ROS静态坐标转换，实现相机坐标系坐标到机械臂坐标系坐标的转换；而后，对该坐标进行G代码封装，通过串口发送给机械臂，完成机械臂移动和点击；若点击次数为一次，只需要用绝对值编程，移动到对应的坐标，轴位置给到可以点击到屏幕的固定值，完成后回到坐标原点；若点击此时为多次，第一个点击的位置仍然是按照点击次数为一次进行的，后续坐标的点击则是按照增量式编程进行的，同样的，完成所有坐标的点击后回到坐标原点。