[发明专利]一种电厂集控室深度学习和视觉伺服的触屏控制操作方法

说明书

本发明涉及图像处理技术和视觉伺服技术领域，特别涉及基一种电厂集控室深度学习和视觉伺服的触屏控制操作方法。本操作方法包括：获取集控室电厂需要监测的界面图像并建立相应图像库；利用训练好的卷积神经网络识别界面局部的字符信息来判断当前所停留的工作页面；采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。本发明采用深度学习技术，实现集控系统状况的快速、智能判断；引入视觉伺服技术，实现机械臂对控制界面的精准操作，安全性得到了大幅提高，保证电厂生产的信息安全。

技术领域

本发明涉及图像处理技术和视觉伺服技术领域，具体而言，特别涉及基一种电厂集控室深度学习和视觉伺服的触屏控制操作方法。

背景技术

电厂所处气候属于亚热带季风型海洋性气候区，大气中富含氮氧化物等强腐蚀性离子，即电厂所处的环境较差且各设备之间存在一定的配合逻辑，一旦某种设备出现运行故障，便可能会出现整个系统的停运。因此电厂的监控工作影响全厂的安全、高效运作，关系重大。

电厂集控室通过人工监盘主要存在以下两个缺点：(1)操作界面图例较小，监控人员长时间进行监控，注意力需要高度集中，容易疲劳，造成监控人员对界面内的信息产生错误判断，出现操作失误；(2)由于监控系统界面需监控的位点众多，且一人需要负责观察多个屏幕，定期监控，工作重复、繁重，工作量大。

发明内容

基于此，本发明的目的是提供一种能够有效解决上述现有技术存在的问题的电厂集控室深度学习和视觉伺服的触屏控制操作方法，本发明采用深度学习技术，实现集控系统状况的快速、智能判断；引入视觉伺服技术，实现机械臂对控制界面的精准操作。

为实现上述目的，本发明提供的一种电厂集控室深度学习和视觉伺服的触屏控制操作方法，所述方法包括以下步骤：

步骤S1：获取集控室电厂需要监测的界面图像并建立相应图像库；

步骤S2：利用训练好的卷积神经网络识别界面局部的字符信息来判断当前所停留的工作页面；

步骤S3：采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；

步骤S4：利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。

进一步的，所述步骤S2以及步骤S4中，用于识别界面局部字符信息来判断当前停留的工作页面的卷积神经网络以及用于确定显示屏的位姿信息的卷积神经网络的训练，包括：

卷积神经网络的结构建立和卷积神经网络的参数学习；步骤S2中训练所采用的图像样本来源于视频采集的方式,即将操作界面的视频信号通过视频采集卡，获得画面图像；步骤S4中训练采用的图像样本来源于步骤S1中通过视频采集的方式获得的图片和摄像头采集显示屏的RGB图像。其中，卷积神经网络的结构建立，包括：

确定包括卷积层层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，训练步长。

用于字符识别的卷积神经网络CRNN的损失函数O为：

其中，Y_i是由L_i经过循环层和卷积层所产生的序列。该目标函数会直接从图像和它的真实标签序列序列计算损失值。因此该网络可以在成对的图像和序列上进行端到端的训练。