[发明专利]机器人过程自动化

权利要求书

1.一种计算机实现的方法，包括：

标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与所述计算机或另一计算机交互的机器人执行的过程；

获得当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的显示器取得的图像；

将计算机视觉技术应用到当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的所述显示器取得的所述图像，以确定当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的所述显示器取得的图像中的变化满足与场景变化相对应的预定阈值；

响应于确定当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的所述显示器取得的图像中的变化满足与场景变化相对应的所述预定阈值，标识与在所述过程期间来自所述用户的输入的接收相对应的第一活动，随后是与在所述过程期间的场景变化相对应的第二活动；

针对所标识的活动中的每个活动，生成与所述活动相关联的活动信息；

生成过程定义以在使得所述机器人通过与所述计算机或所述另一计算机交互来自动地执行所述过程中使用，其中所述过程定义指示与来自所述用户的所述输入的接收相对应的所述第一活动，随后是与所述场景变化相对应的所述第二活动，并且针对每个所指示的活动，指示与所述活动相关联的所述活动信息；以及

存储所述过程定义以供后续使用，以使所述机器人通过与所述计算机或所述另一计算机交互来自动执行所述过程。

2.根据权利要求1所述的方法，其中获得当在手动地执行所述过程中所述用户与所述计算机交互时对所述计算机的显示器取得的图像包括：

从照相机获得对所述计算机的所述显示器取得的图像。

3.根据权利要求1所述的方法，其中所述图像包括视频。

4.根据权利要求1所述的方法，其中生成与所述活动相关联的活动信息包括：

生成在所述活动被执行之前在所述显示器上示出的屏幕的一部分的快照。

5.根据权利要求1所述的方法，其中生成与所述活动相关联的活动信息包括：

生成在所述活动被执行之后在所述显示器上示出的屏幕的屏幕截图。

6.根据权利要求1所述的方法，其中所述活动包括以下各项中的两项或更多项：按键按压、鼠标点击、屏幕触摸、前台中的过程变化或场景变化。

7.根据权利要求1所述的方法，包括：

访问所述过程定义；以及

自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述计算机或所述另一计算机物理地交互。

8.根据权利要求7所述的方法，其中自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述计算机或所述另一计算机交互包括：

标识与由针对特定活动的所述活动信息指示的快照在视觉上匹配的、所述另一计算机的另一显示器上示出的屏幕的一部分；以及

指示所述机器人在对应于所述一部分的中心的位置处物理地触摸所述另一显示器。

9.根据权利要求7所述的方法，其中自动地指示所述机器人基于由所述过程定义指示的所述活动和活动信息来与所述另一计算机交互包括：

确定在所述另一计算机的另一显示器上示出的屏幕对应于由针对特定活动的所述活动信息指示的屏幕截图；以及

响应于确定在所述另一显示器上示出的所述屏幕对应于由针对特定活动的所述活动信息指示的屏幕截图，指示所述机器人基于由所述过程定义指示的后续活动来与所述另一计算机物理地交互。