[发明专利]一种电厂集控室深度学习和视觉伺服的触屏控制操作方法

权利要求书

1.一种电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，所述方法包括如下步骤：

步骤S1：获取集控室内电厂需要监测的操作界面图像并建立相应图像库；

步骤S2：利用训练好的卷积神经网络识别操作界面局部的字符信息来判断当前所停留的工作页面；

步骤S3：采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；

步骤S4：利用摄像头采集触控显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。

2.根据权利要求1所述的基于深度学习和视觉伺服的电厂集控室的触屏控制操作方法，其特征在于，步骤S1中，具体包括将操作界面的视频信号通过视频采集卡，获得操作界面画面图像，用于后续的步骤S2和步骤S3中的图像识别匹配处理。

3.根据权利要求1所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于：所述步骤S2以及步骤S4中，利用反向传播算法训练用于识别界面局部字符来判断当前所停留的工作界面以及确定显示屏的位姿信息的两个卷积神经网络。

4.根据权利要求1所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法：所述步骤S3中，判断出当前所停留的工作界面之后，需要识别出图像中需要点击的字符按钮，可以截取待检测区域像素，采用图像的模板匹配方法进行检测。

5.根据权利要求1所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，步骤S4中，利用设置在机械臂末端的摄像头采集显示屏的RGB图像，再通过所述卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，确定需要操作的位姿信息，最后发送驱动信号驱动机械臂末端完成操作。

6.根据权利要求3所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法：其特征在于，用验证集评估所述卷积神经网络放入模型的性能。

7.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法：其特征在于，所述卷积神经网络的结构建立均包括卷积层层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，训练步长。

8.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，实现所述卷积神经网络端到端的训练，具体为：训练数据通过：

X＝{I_i,L_i}_i的定义

其中I_i是训练过程中卷积神经网络判断的序列，L_i是真实的标签序列,训练整个模型的目标函数是最小化真实条件概率下的负对数似然函数:

其中，Y_i是由L_i经过循环层和卷积层所产生的序列,该目标函数会直接从图像和它的真实标签序列序列计算损失值,因此该网络可以在成对的图像和序列上进行端到端的训练,卷积神经网络使用随梯度下降(SGD)进行训练，梯度由反向传播算法计算。

9.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法：其特征在于，卷积神经网络通过在图像中定位其中心并预测其与相机的距离来估计对象的3D平移。通过回归到的四元数表示来估计对象的3D旋转。

10.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，实现所述用于6D物体姿态估计的新型卷积神经网络的训练，具体为：网络的预测输出共有3个，分别为语义分割分支，位置分支，和姿态分支，对于上述的每个分支，都有一个Loss，一共有3个Loss,训练整个模型的目标函数是：

其中，M代表3D模型空间中的点,和R(q)分别代表预测的3D旋转矩阵和真正的3D旋转矩阵,X₁表示场景中的点，X₂表示模型上离X₁最近的点。