[发明专利]作业机械的辅助影像生成方法、远程操控方法及其装置

权利要求书

1.一种作业机械的辅助影像生成方法，其特征在于，所述作业机械包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述方法包括：

获取所述执行机构的姿态特征；

获取所述摄像头采集的第一环境图像；

基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。

2.根据权利要求1所述的作业机械的辅助影像生成方法，其特征在于，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：

以所述第一环境图像为参考系，将第一环境图像的旋转映射为姿态特征的旋转，生成所述辅助影像。

3.根据权利要求1或2所述的作业机械的辅助影像生成方法，其特征在于，所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：

基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，所述整机图像用于表征所述作业机械的姿态；

基于所述整机图像和所述第一环境图像，生成辅助影像。

4.根据权利要求3所述的作业机械的辅助影像生成方法，其特征在于，所述作业机械为挖掘机，所述执行机构包括安装于所述作业机械的下机身的上机身、安装于所述上机身的动臂、安装于所述动臂的斗杆和安装于所述斗杆的铲斗；

所述基于各个所述执行机构的所述姿态特征，确定所述作业机械的整机图像，包括：

基于所述上机身的姿态特征，将所述上机身的图像和所述下机身的图像合成为第一图像；

基于所述动臂的姿态特征，将所述第一图像和所述动臂的图像合成为第二图像；

基于所述斗杆的姿态特征，将所述第二图像和所述斗杆的图像合成为第三图像；

基于所述铲斗的姿态特征，将所述第三图像和所述铲斗的图像合成为整机图像。

5.根据权利要求1或2所述的作业机械的辅助影像生成方法，其特征在于，所述摄像头为多个，多个所述摄像头朝向不同的方向；

所述基于所述姿态特征和所述第一环境图像，生成辅助影像，包括：

对各个所述摄像头采集的所述图像信息，进行畸形矫正和图像拼接，生成第二环境图像；

基于所述姿态特征和所述第二环境图像，生成辅助影像。

6.一种作业机械的远程操控方法，其特征在于，包括：

使用如权利要求1至5中任一项所述的作业机械的辅助影像生成方法，生成辅助影像，并显示；

接收用户的第一输入；

响应于所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。

7.一种作业机械的辅助影像生成装置，其特征在于，所述作业机械包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构和用于采集所述执行机构姿态特征的传感器，所述装置包括：

特征获取模块，用于获取所述执行机构的姿态特征；

图像获取模块，用于获取所述摄像头采集的第一环境图像；

辅助影像生成模块，用于基于所述姿态特征和所述第一环境图像，生成辅助影像，所述辅助影像用于表征所述作业机械所处的环境信息和自身的姿态信息。

8.一种作业机械的远程操控装置，其特征在于，包括：

显示模块，用于显示使用如权利要求1至5中任一项所述的作业机械的辅助影像生成方法生成的辅助影像；

接收模块，用于接收用户的第一输入；

输出模块，用于响应所述第一输入，输出用于控制所述作业机械的执行机构工作的控制指令。

9.一种作业机械，其特征在于，包括用于采集第一环境图像的摄像头、可相对运动的多个执行机构、用于采集所述执行机构姿态特征的传感器和如权利要求7所述的作业机械的辅助影像生成装置。