[发明专利]用于机器的增强现实控制

说明书

描述了用于利用增强现实或虚拟现实来控制机器的操作的系统和方法。控制器被配置成至少部分地基于从对象传感器接收的传感器数据来检测经由显示装置可见的对象。控制器然后生成并在显示装置上输出对应于检测到的对象的图形元素。控制器然后监测操作者的手和图形元素之间的相互作用，并且将控制信号传送到机器致动器，以至少部分地基于操作者的手和图形之间的一个或多个检测到的相互作用来控制机械的工具的操作。

技术领域

本发明涉及用于控制机器(例如自动平地机)的操作的系统和方法。

发明内容

在一个实施例中，本发明提供了一种利用增强现实或虚拟现实来控制机器的操作的系统。控制器被配置成至少部分地基于从对象传感器接收的传感器数据来检测经由显示装置可见的对象。控制器然后生成并在显示装置上输出对应于检测到的对象的图形元素。控制器然后监测操作者的手和图形元素之间的相互作用，并且将控制信号传送到机器致动器，以至少部分地基于一个或多个所检测到的操作者的手和图形元素之间的相互作用来控制机械的工具的操作。

在另一个实施例中，本发明提供了一种利用增强现实操作机器的方法。控制器从对象传感器接收传感器数据，该对象传感器被定位成具有与显示装置的视场至少部分重叠的视场。控制器至少部分地基于从对象传感器接收的传感器数据来检测经由显示装置可见的对象，并在显示装置上输出与检测到的对象相对应的图形元素。响应于检测到操作者的手与所显示的图形元素之间的相互作用，控制器将控制信号发送至机器致动器。机器致动器基于控制信号控制机器的操作，使得机器的操作对应于操作者的手与图形元素的所检测到的相互作用。

在又一个实施例中，本发明提供了一种利用增强现实来调节自动平地机的刀片位置的系统。该系统包括头戴式装置和控制器。该头戴式装置包括显示装置和对象传感器。显示装置包括至少部分透明的图形显示屏幕，图形显示屏幕被配置为在穿戴所述头戴式装置的操作者的视场中输出图形元素，同时现实对象通过至少部分透明的图形显示屏幕对于操作者是可见的。对象传感器被定位在所述头戴式装置上，对象传感器具有至少部分地与穿戴所述头戴式装置的所述操作者的视场重叠的视场。控制器被配置成至少部分地基于从对象传感器接收的传感器数据来检测所述操作者的视场内的自动平地机的刀片的位置。控制器产生并在显示装置上输出用于自动平地机的刀片的虚拟手柄。控制器检测操作者的手何时接触虚拟手柄。控制器被配置为响应于检测操作者的手接触虚拟手柄时的运动而将控制信号传输到自动平地机致动器。控制信号使得自动平地机致动器对应于所检测到的操作者的手接触虚拟手柄时的运动的方向和大小上来调节自动平地机刀片的位置。

在一些实施例中，所述控制器还被配置为发送第二控制信号，所述第二控制信号响应于检测到所述操作者的手朝向自动平地机的刀片上位置的敲击动作而对所述自动平地机刀片的位置进行小范围、微细调节。

通过考虑详细描述和附图，本发明的其他方面将变得显而易见。

附图说明

图1是根据一个实施例的利用增强现实来控制机器的系统的框图。

图2是用于使用图1的增强现实系统来控制机器的方法的流程图。

图3是由图1的增强现实系统控制的自动平地机的立体图。

图4A是由图1的增强现实系统输出的显示视图，示出了图3的自动平地机的刀片。

图4B是图1的增强现实系统的显示视图输出，其中具有第一虚拟手柄。

图4C是图1的增强现实系统的显示视图输出，其中用户与图4B的虚拟手柄相互作用。

图4D是图1的增强现实系统的显示视图输出，其中具有虚拟手柄的另一示例。

图4E是图1的增强现实系统的显示视图输出，其中用户使用手部运动来与图3的机动平路机的刀片相互作用。

图5是使用4A，4B，4C，4D和4E的显示视图界面来调节图3的自动平地机的刀片的位置的方法的流程图。