[发明专利]作业机械控制方法、装置及作业机械

权利要求书

1.一种作业机械控制方法，其特征在于，包括：

获取作业机械的当前作业状态；

基于所述当前作业状态和状态行为决策模型，确定所述作业机械的当前决策行为；

基于所述当前决策行为对应的控制信号，控制所述作业机械进行施工作业；

其中，所述状态行为决策模型是基于所述作业机械的样本作业状态、样本决策行为，以及所述样本决策行为对应的奖励值进行训练后得到的；所述奖励值是基于所述作业机械中作业部位的实际位置曲线和目标位置曲线确定的；所述实际位置曲线是基于所述样本决策行为确定的；

所述奖励值是基于如下步骤确定的：

在所述实际位置曲线上选取多个位置点，并在所述目标位置曲线上确定每一位置点的对应位置点；

确定每一位置点的位置权重；

基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述奖励值。

2.根据权利要求1所述的作业机械控制方法，其特征在于，所述基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述奖励值，包括：

基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述实际位置曲线和所述目标位置曲线之间的重合度；

确定所述作业部位在所述实际位置曲线上的移动速度；

基于所述重合度和所述移动速度，确定所述奖励值。

3.根据权利要求2所述的作业机械控制方法，其特征在于，所述状态行为决策模型是基于如下步骤训练得到的：

获取所述作业机械的上一作业状态、上一决策行为，以及所述上一决策行为对应的奖励值；

将所述上一作业状态、所述上一决策行为，以及所述上一决策行为对应的奖励值分别作为样本作业状态、样本决策行为，以及所述样本决策行为对应的奖励值；

基于所述样本作业状态、所述样本决策行为，以及所述样本决策行为对应的奖励值，对初始模型进行训练，得到所述状态行为决策模型。

4.根据权利要求3所述的作业机械控制方法，其特征在于，所述基于所述样本作业状态、所述样本决策行为，以及所述样本决策行为对应的奖励值，对初始模型进行训练，得到所述状态行为决策模型，包括：

若所述作业机械中作业部位的实际位置曲线和目标位置曲线之间的重合度小于预设重合阈值，则停止训练，并将训练后的初始模型作为所述状态行为决策模型。

5.根据权利要求1至4任一项所述的作业机械控制方法，其特征在于，所述作业机械为挖掘机，所述当前作业状态包括机械臂的姿态参数、上部车身的姿态参数和上部车身的回转角。

6.一种作业机械控制装置，其特征在于，包括：

获取单元，用于获取作业机械的当前作业状态；

决策单元，用于基于所述当前作业状态和状态行为决策模型，确定所述作业机械的当前决策行为；

控制单元，用于基于所述当前决策行为对应的控制信号，控制所述作业机械进行施工作业；

其中，所述状态行为决策模型是基于所述作业机械的样本作业状态、样本决策行为，以及所述样本决策行为对应的奖励值进行强化训练后得到的；所述奖励值是基于所述作业机械中作业部位的实际位置曲线和目标位置曲线确定的；所述实际位置曲线是基于所述样本决策行为确定的；

所述装置还包括：

奖励确定单元，用于在所述实际位置曲线上选取多个位置点，并在所述目标位置曲线上确定每一位置点的对应位置点；确定每一位置点的位置权重；基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述奖励值。

7.一种作业机械，其特征在于，包括权利要求6中所述的作业机械控制装置。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述作业机械控制方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述作业机械控制方法的步骤。