[发明专利]机器人过程自动化

说明书

用于使手动过程自动化的方法、系统以及包括被编码在计算机存储介质上的计算机程序的装置。方法、系统以及装置包括以下动作：标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与另一计算机交互的机器人执行的过程。附加动作包括：获得当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的一幅或多幅图像；以及应用计算机视觉技术来标识与过程相关联的一个或多个活动。进一步的动作包括：针对所标识的一个或多个活动中的每个活动，生成与活动相关联的活动信息，以及生成过程定义以在使得机器人自动地执行过程中使用。

相关申请的交叉引用

本申请要求于2015年7月2日提交的欧洲专利申请号EP15290172的优先权，其所有内容通过引用并入本文。

技术领域

本公开总体上涉及机器人过程自动化。

背景技术

在计算机上执行的手动过程可能是重复并且耗费时间的。例如，用户可以响应于网络表格提交而发送电子邮件，并且对于每个网络表格提交而言，可能需要与计算机手动地交互，以点击打开用于撰写新电子邮件的窗口的按钮，点击将信息从网络表格提交拷贝到窗口中的按钮，点击写入针对电子邮件的正文的文本的按键，以及点击发送电子邮件的按钮。

发明内容

一般来说，本说明书中所描述的主题的方面可以涉及用于使由人手动地执行的过程自动化的过程。为了使手动过程自动化，在人在执行过程时与计算机手动地交互的同时，系统可以使用计算机视觉技术分析计算机的显示器的图像。根据分析，系统可以确定与过程相关联的活动(例如，键击、鼠标点击或触摸屏触摸)。基于所确定的活动，系统可以然后使得机器人与计算机交互以自动地重复过程。在重复过程时，机器人还可以对计算机的显示器的图像使用计算机视觉技术，以自动地执行与所确定的活动相关联的交互。

在一些方面中，本说明书中所描述的主题可以被实现在方法中，方法可以包括以下动作：标识(i)由与计算机交互的用户手动地执行并且(ii)要被自动化以用于由被配置为与计算机或另一计算机物理地交互的机器人执行的过程。附加动作包括：获得当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的一幅或多幅图像；将计算机视觉技术应用到当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的图像，以标识与过程相关联的一个或多个活动。进一步的动作包括：针对所标识的一个或多个动作中的每个动作，生成与活动相关联的活动信息并且生成过程定义以在使得机器人通过与计算机或另一计算机物理地交互自动地执行过程中使用，其中过程定义指示所标识的一个或多个活动，并且针对每个所标识的活动，指示与活动相关联的活动信息。

其他版本包括对应的系统、装置和被配置成执行方法的动作的计算机程序，其被编码在计算机存储设备上。

这些和其他版本可以各自可选地包括以下特征中的一个或多个。例如，在一些实现中，获得当在手动地执行过程中用户与计算机交互时对计算机的显示器取得的一幅或多幅图像包括：从照相机获得对计算机的显示器取得的一幅或多幅图像。在一些方面中，一幅或多幅图像包括视频。在某些方面中，生成与活动相关联的活动信息包括：生成在活动被执行之前在显示器上示出的屏幕的一部分的快照。在一些实现中，生成与活动相关联的活动信息包括：生成在活动被执行之后在显示器上示出的屏幕的屏幕截图。在一些实现中，活动包括以下各项中的一项或多项：按键按压、鼠标点击、屏幕触摸、前台中的过程变化或场景变化。