[发明专利]提供远程机器人控制的方法和系统

权利要求书

1.一种从流表面执行交互式对象分割的方法，包括：

在具有一个或多个处理器和存储器的计算设备处，其中所述计算设备可通信地通过网络耦合到并置在第一物理环境中的机器人和一组传感器：

从所述一组传感器中接收环境数据流，所述环境数据流包括捕获所述第一物理环境的相关图像和深度数据；

通过显示生成组件在用户界面区域中显示所述第一物理环境的虚拟化表示，其中，所述第一物理环境的所述虚拟化表示是根据所述环境数据流来生成和更新的；

在显示所述第一物理环境的所述虚拟化表示的同时，从触觉使能输入设备接收标记输入，其中，所述标记输入在所述第一物理环境的所述虚拟化表示中的位置是根据所述标记输入来确定的，并且所述位置受所述第一物理环境的所述虚拟化表示中的第一虚拟化表面所约束；以及

响应于接收到所述标记输入，在所述相关图像和深度数据上从所述标记输入的位置执行对象分割，包括针对相应时间步长，根据所述环境数据流更新所述第一物理环境的所述虚拟化表示：

从图像数据中与所述标记输入的位置相对应的第一位置，对像素进行聚类，以形成第一聚类；

基于所述第一聚类和与所述第一聚类对应的深度数据，分割出所标记的第一对象；

将所述所标记的第一对象和所述深度数据融合到与所述相应时间步长对应的所述第一物理环境的第一截断符号距离函数(TSDF)表示中；以及

从与所述所标记的第一对象和与所述第一聚类相对应的深度数据融合的所述第一TSDF表示中获取第一分割点云。

2.根据权利要求1所述的方法，包括：

提供包括所述所标记的第一对象的所述第一分割点云作为输入，以用于相对于与所述所标记的第一对象对应的第一物理对象由机器人根据预编程指令执行的路径规划和/或任务执行。

3.根据权利要求2所述的方法，包括：

响应于所述标记输入，通过所述触觉使能输入设备生成触觉反馈，包括：

根据确定所述标记输入的位置对应于与虚拟化环境的初始接触，更新代理位置以定位距所述标记输入的位置最近的表面点；以及

根据确定所述标记输入的位置是沿着移动路径与所述虚拟化环境接触的连续位置，更新所述代理位置以定位距交点最近的表面点，所述交点是与所述第一位置对应的切线约束平面与从所述第一位置下降到所述切线约束平面的法线之间的交点。

4.根据权利要求3所述的方法，其中，使用与对应时间步长相应的所述第一物理环境的第一TSDF表示来执行更新所述代理位置以定位距所述第一位置最近的表面点。

5.根据权利要求3所述的方法，包括：

根据所述标记输入，将所述所标记的第一对象标记为障碍，其中，所述机器人在根据第一组预编程指令生成的路径上导航期间避开所述所标记的第一对象。

6.根据权利要求2所述的方法，包括：

根据所述标记输入将所述所标记的第一对象标记为目标，其中，所述机器人在根据第一组预编程的路径规划指令生成的路径上导航期间接近所述所标记的第一对象。

7.根据权利要求2所述的方法，包括：

根据所述标记输入将所述所标记的第一对象标记为通道，其中，当没有将所述所标记的第一对象标记为通道时，所述机器人在根据第一组预编程的路径规划指令生成的路径上导航期间避开所述所标记的第一对象，并且当将所述所标记的第一对象标记为通道时，在根据所述第一组预编程的路径规划指令生成的路径上导航期间，所述机器人将不避开所述所标记的第一对象。