[发明专利]一种基于深度强化学习进行流体导向的刚体控制的方法

摘要

一种基于深度强化学习进行流体导向的刚体控制的方法。本方法通过仅在模拟区域边界施加控制作用力来改变流体‑刚体模拟器的行为，同时模拟区域内部通过Navier‑Stokes方程控制流体以及Newton‑Euler方程控制刚体。本方法的控制器是用深度强化学习训练的神经网络，经过预先训练便可用来在线生成控制动作。基于本方法的控制器接收流体与刚体的状态作为输入，控制流体喷口在边界移动并向模拟区域内部的刚体喷射流体，不仅可生成物理上真实的模拟效果，而且在很多2维流体‑刚体控制任务上都取得了很好的效果。本方法也可以扩展到3维流体‑刚体耦合系统，比如可以控制刚体准确运动到指定3维目标点。

主权项

1.一种基于深度强化学习进行流体导向的刚体控制的方法，其特征在于：所述方法的控制对象为遵循Navier‑Stokes方程的流体和遵循Newton‑Eular方程的刚体耦合系统；具体控制步骤包括：第1：利用一种基于神经网络的自编码器，无监督地捕获流体速度场最重要的结构特征，并用该特征进行控制；第2：利用一种深度强化学习算法，优化神经网络控制参数，网络接收系统状态为输入，生成每一时间步在模拟边界的控制动作；第3：通过训练，通常训练时间为数小时至数十小时，控制器能够完成多种复杂的流体导向的刚体运动控制任务。