[发明专利]作业机械控制方法、装置及作业机械

说明书

本发明提供一种作业机械控制方法、装置及作业机械，其中方法包括：获取作业机械的当前作业状态；基于当前作业状态和状态行为决策模型，确定作业机械的当前决策行为；基于当前决策行为对应的控制信号，控制作业机械进行施工作业；其中，状态行为决策模型是基于作业机械的样本作业状态、样本决策行为，以及样本决策行为对应的奖励值进行训练后得到的；奖励值是基于所述作业机械中作业部位的实际位置曲线和目标位置曲线确定的；实际位置曲线是基于样本决策行为确定的。本发明提供的方法、装置及作业机械，减少了工程师的调试工作量，缩短了调试时间，降低了调试成本，提高了作业机械的智能化施工水平。

技术领域

本发明涉及机械工程技术领域，尤其涉及一种作业机械控制方法、装置及作业机械。

背景技术

挖掘机进行平地或者刷坡等复合操作时，通常由有经验的操作手通过组合动作完成。

现有技术中，对挖掘机智能化功能的开发中，通常采用传统的控制算法进行调试，需要定义挖掘机工作的许多个状态点，在每个状态点都需要单独进行控制算法调试，使得平地或者刷坡的控制程序达到预期的精度。由于挖掘机系统较为复杂，这类控制算法调试难度很大，对工程师要求很高，很难完成。并且耗时很长，人力成本较高。

发明内容

本发明提供的作业机械控制方法、装置及作业机械，用于解决现有技术中对作业机械进行智能控制时，需要对作业机械在各个作业状态建立精确的控制模型并进行大量调试，耗时长，成本高的技术问题。

本发明提供一种作业机械控制方法，包括：

获取作业机械的当前作业状态；

基于所述当前作业状态和状态行为决策模型，确定所述作业机械的当前决策行为；

基于所述当前决策行为对应的控制信号，控制所述作业机械进行施工作业；

其中，所述状态行为决策模型是基于所述作业机械的样本作业状态、样本决策行为，以及所述样本决策行为对应的奖励值进行训练后得到的；所述奖励值是基于所述作业机械中作业部位的实际位置曲线和目标位置曲线确定的；所述实际位置曲线是基于所述样本决策行为确定的。

根据本发明提供的作业机械控制方法，所述奖励值是基于如下步骤确定的：

在所述实际位置曲线上选取多个位置点，并在所述目标位置曲线上确定每一位置点的对应位置点；

确定每一位置点的位置权重；

基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述奖励值。

根据本发明提供的作业机械控制方法，所述基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述奖励值，包括：

基于每一位置点与对应位置点之间的距离，以及每一位置点的位置权重，确定所述实际位置曲线和所述目标位置曲线之间的重合度；

确定所述作业部位在所述实际位置曲线上的移动速度；

基于所述重合度和所述移动速度，确定所述奖励值。

根据本发明提供的作业机械控制方法，所述状态行为决策模型是基于如下步骤训练得到的：

获取所述作业机械的上一作业状态、上一决策行为，以及所述上一决策行为对应的奖励值；

将所述上一作业状态、所述上一决策行为，以及所述上一决策行为对应的奖励值分别作为样本作业状态、样本决策行为，以及所述样本决策行为对应的奖励值；

基于所述样本作业状态、所述样本决策行为，以及所述样本决策行为对应的奖励值，对初始模型进行训练，得到所述状态行为决策模型。