[发明专利]一种远程桌面操作方法、装置、可读存储介质及终端设备

说明书

本发明属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。所述方法接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；在所述本地桌面中的第三坐标处执行所述操作指令。即使用图像匹配的方式搜寻操作对象，并通过坐标变换确定操作对象的具体位置，从而大大提高了操作成功率。

技术领域

本发明属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。

背景技术

随着技术的发展，越来越多的企业开始采用机器人流程自动化(Robotic ProcessAutomation，RPA)来执行一些例行的操作，但是，现有的RPA技术往往局限于对本地的一些操作对象等做一下简单的操作，而面对远程桌面上的操作对象，由于无法直接获取远程桌面上的操作对象的窗口句柄，难以确定操作对象所处的位置，操作成功率极低。

发明内容

有鉴于此，本发明实施例提供了一种远程桌面操作方法、装置、计算机可读存储介质及终端设备，以解决现有技术对远程桌面中的操作对象的操作成功率极低的问题。

本发明实施例的第一方面提供了一种远程桌面操作方法，可以包括：

接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

在所述本地桌面中的第三坐标处执行所述操作指令。

本发明实施例的第二方面提供了一种远程桌面操作装置，可以包括：

操作请求接收模块，用于接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

目标图像搜寻模块，用于获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

坐标获取模块，用于获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

坐标计算模块，用于根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

操作执行模块，用于在所述本地桌面中的第三坐标处执行所述操作指令。

本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；

获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；

获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；

根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；

在所述本地桌面中的第三坐标处执行所述操作指令。