[发明专利]用于控制机器人的人类-机器接口(HMI)的增强

说明书

提供了一种用于提供增强型人类‑机器接口(HMI)以控制机器人的方法、以及支持所述方法的设备。根据本发明的一个实施例，一种方法包括：监视用户在增强型HMI上对机器人的操作的操纵输入，所述增强型HMI是从机器人专有的专有HMI增强的；响应于所监视的操纵，生成用于所述增强型HMI的第一程序环境中的第一程序；检索与要作为机器人的操作的一部分执行的动作相关的动作信息，其中所述动作是在用于所述专有HMI的第二程序环境中定义的；通过使用检索到的动作信息来生成第二程序环境中的对应于第一程序的第二程序；以及使用第二程序来控制机器人以执行所述操作。

技术领域

本发明涉及人类-机器接口(HMI)的自动化。

背景技术

图形用户接口(GUI)是一种用户接口形式，其允许用户通过图形图标和音频指示器与电子设备进行交互，而不是通过基于文本的用户接口、键入的命令标签或文本导航与电子设备进行交互。

GUI自动化工具利用计算机视觉和机器学习算法来几乎实时地处理GUI中的视觉元素，并且模拟对那些事件做出反应所需的用户交互。虽然这种工具通常用于测试交互式软件系统，但是GUI自动化技术也实现了工业人类-机器接口(HMI)的非侵入式扩展。

GUI自动化已经被证明在商业过程自动化和公共管理领域(在其中，它更好地被称为机器人过程自动化(RPA))中是成功的，在这些领域中，供应商锁定(vendor lock-in)是常见的事(例如，通过诸如Microsoft和之类的软件)。虽然在这些领域中，RPA经常被调取(invoke)作为对外包重复性、低附加值操作的替代方案，但是在工业领域中，应用集成商面临着专有软件系统的异质性(heterogeneity)。作为回应，一些制造公司选择通过使用单个供应商来使他们的机器群(machine fleet)均质化。GUI自动化可以潜在地通过提供用于在元级别处配置和编程工业自动化系统的手段来帮助应对这些工业自动化系统的异质性。

与此同时，用户通过利用GUI技术的HMI来控制工业机器人臂。由于支配着工业制造环境的保障性(security)和安全性(safety)限制，工业自动化软件(例如HMI)不能够像其他软件那样被频繁且容易地更新。因此，在生产性工业环境中使用的HMI在功能性和用户体验方面经常落后于(lag behind)现有技术。在这种环境下，创新必须在生产率和盈利性方面产生即刻收益的要求加剧了该情形。

这些原生的、供应商提供的HMI遭受着一系列缺点，包括：

-针对现代编程语言和范例的有限支持。

-有限的可用性、可访问性和通用性(versatility)，尤其是在传统(legacy)系统的情况下。

-由于传统的硬件约束所致的关于固件更新的有限可能性，尤其是在新的安全性和保障性要求的情况下(示例：“自由驱动(freedrive)”模式，其允许用户手动地移动机器人，并且在与机器人的控制PC的远程连接处于活动时，在来自CB-的较旧的通用(UR)中允许对移动窗格(movement pane)的访问；然而由于安全性考虑，当远程连接处于活动时，这些特征在较新的e-中被锁定)。

-关于机器人程序和行为的动态运行时适配的有限可能性。

上述问题通常通过软件更新或由第三方机器人软件和编程环境对原生机器人HMI的完全替换来解决。后者的良好示例是机器人操作系统(ROS)，该机器人操作系统是支持大量机器人系统的重量级中间件。虽然ROS是工业机器人学领域中事实上的标准，但是它并没有以令人满意的方式解决上述问题中的任何，这是因为：

-ROS程序没有利用已经在机器人的供应商提供的HMI中实现的特征，这也是因为：由于安全性考虑，较新的机器人不允许在与机器人的远程连接处于活动时使用示教器(teach pendant)对机器人进行编程。