[发明专利]远程操作设备的方法和相关装置

权利要求书

1.一种远程操作设备的方法，其特征在于，包括：

第一设备在第一远程界面的图像中确定与模板图像匹配的第一图像区域，所述第一远程界面为所述第一设备通过远程连接获取到的第二设备的界面，所述第一远程界面为所述第一远程操作对应的远程界面，所述模板图像包括第一操作对象的界面元素，所述第一操作对象为所述第一远程操作的操作对象；

所述第一设备根据所述第一图像区域在所述第一远程界面的图像中的位置，确定所述第一操作对象在所述第一远程界面中的位置；

所述第一设备根据所述第一操作对象在所述第一远程界面中的位置，在所述第一远程界面中执行对所述第二设备的第一远程操作；

其中，所述第一设备根据所述第一图像区域在所述第一远程界面的图像中的位置，确定所述第一操作对象在所述第一远程界面中的位置，包括：

在所述第一图像区域与所述模板图像的匹配度大于或等于匹配度阈值的情况下，所述第一设备将所述第一图像区域在所述第一远程界面的图像中的位置，确定为所述第一操作对象在所述第一远程界面中的位置；或者

在所述第一图像区域与所述模板图像的匹配度小于所述匹配度阈值的情况下，所述第一设备识别所述第一图像区域中存在的至少一个字符串，并将所述至少一个字符串中的第一字符串在所述第一远程界面的图像中的位置，确定为所述第一操作对象在所述第一远程界面中的位置，所述第一字符串与模板字符串的相似度大于相似度阈值；

或者，

其中，所述第一设备根据所述第一图像区域在所述第一远程界面的图像中的位置，确定所述第一操作对象在所述第一远程界面中的位置，包括：

所述第一设备基于卷积神经网络的识别模型对所述第一图像区域进行识别，以确定所述第一图像区域中的操作对象的类型；

在确定所述第一图像区域中的操作对象为界面元素固定的操作对象的情况下，所述第一设备将所述第一图像区域在所述第一图像中的位置，确定为所述第一操作对象在所述第一远程界面中的位置；或者

在确定所述第一图像区域中的操作对象为界面元素动态变化的操作对象的情况下，所述第一设备识别所述第一图像区域中存在的至少一个字符串，并将所述至少一个字符串中的第一字符串在所述第一远程界面的图像中的位置，确定为所述第一操作对象在所述第一远程界面中的位置，所述第一字符串与模板字符串的相似度大于相似度阈值。

2.根据权利要求1所述的方法，其特征在于，所述第一设备在第一远程界面的图像中确定与模板图像匹配的第一图像区域，包括：

所述第一设备将所述模板图像与所述第一远程界面的图像进行遍历图像匹配，以得到至少一个图像区域，以及，所述至少一个图像区域各自与所述模板图像的匹配度，每个图像区域的尺寸与所述模板图像的尺寸相同；

所述第一设备将所述至少一个图像区域中与所述模板图像的匹配度最大的图像区域，确定为所述第一图像区域。

3.根据权利要求1所述的方法，其特征在于，所述第一设备在第一远程界面的图像中确定与模板图像匹配的第一图像区域，包括：

所述第一设备调整所述模板图像的尺寸，以得到所述模板图像对应的M个模板变换图像，所述M个模板变换图像的尺寸各不相同，M为大于1的正整数；

所述第一设备分别将所述M个模板变换图像与所述第一远程界面的图像进行遍历图像匹配，以得到所述模板图像对应的M个第二图像区域，以及，所述M个第二图像区域各自与所述模板图像的匹配度；其中，所述M个第二图像区域中的第i个第二图像区域对应所述M个模板变换图像中的第i模板变换图像，所述第i个第二图像区域为第i图像区域集合中与所述第i模板变换图像的匹配度最大的图像区域，所述第i图像区域集合包括至少一个尺寸与所述第i模板变换图像的尺寸相同的图像区域，所述第i个第二图像区域与所述模板图像的匹配度为所述第i个第二图像区域与所述第i模板变换图像的匹配度，i为大于或等于1，且小于或等于M的正整数；

所述第一设备将所述M个第二图像区域中与所述模板图像的匹配度最大的第二图像区域，确定为所述第一图像区域。

4.根据权利要求1所述的方法，其特征在于，所述第一设备在第一远程界面的图像中确定与模板图像匹配的第一图像区域之前，还包括：

所述第一设备对所述第一远程界面的图像进行压缩处理，或，所述第一设备分别对所述模板图像和所述第一远程界面的图像进行压缩处理。