[发明专利]网络训练方法、操作控制方法、装置、存储介质和设备

说明书

本发明实施例提供一种网络训练方法、操作控制方法、装置、存储介质和电子设备。网络训练方法包括：从至少一个训练主机分别接收状态动作样本数据，状态动作样本数据至少包括操作状态数据以及相应的动作控制数据；使用状态动作样本数据，训练用于操作控制的目标神经网络；将经过训练的目标神经网络分别发送给至少一个训练主机，以使得所述至少一个训练主机根据目标神经网络生成新的状态动作样本数据。由此，可以分布式的训练方式，不断地通过各个训练主机获取到大量的用于智能操作控制的训练样本，提高了采集训练样本的效率。此外，还能够使得训练主机持续地通过经训练的目标神经网络来获取更多的训练样本，从而提高了采集到的训练样本的质量。

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种网络训练方法、操作控制方法、装置、存储介质和电子设备。

背景技术

在基于神经网络的各种智能控制技术(各种机器人的操纵控制)中，由于(机器人)需要应对很多不简单的、涉及多种操作参数和环境参数的操作环境，因此需要针对多种操作环境下采集大量的样本，再使用这些样本对神经网络进行训练，以获得实现预定功能的神经网络。

发明内容

本发明实施例的目的在于，提供一种网络训练技术和操作控制技术。

根据本发明实施例的第一方面，提供一种网络训练方法，包括：从至少一个训练主机分别接收状态动作样本数据，所述状态动作样本数据至少包括操作状态数据以及相应的动作控制数据；使用所述状态动作样本数据，训练用于操作控制的目标神经网络；将经过训练的目标神经网络分别发送给所述至少一个训练主机，以使得所述至少一个训练主机根据所述目标神经网络生成新的状态动作样本数据。

可选地，所述状态动作样本数据与用于操作控制的操作环境对应；所述从至少一个训练主机分别接收状态动作样本数据，还包括：从至少一个训练主机分别接收与所述状态动作样本数据对应的操作环境的数据。

可选地，在从至少一个训练主机分别接收状态动作样本数据之后，所述方法还包括：将接收到的状态动作样本数据以及对应的操作环境的数据存储到样本数据库中；在使用接收到的状态动作样本数据，训练目标神经网络之前，所述方法还包括：从所述样本数据库获取与预定的操作环境对应的状态动作样本数据。相应地，所述使用接收到的状态动作样本数据，训练目标神经网络包括：使用从所述样本数据库获取到的状态动作样本数据，训练所述目标神经网络。

可选地，在从至少一个训练主机分别接收状态动作样本数据之前，所述方法还包括：初始化所述目标神经网络，并且将初始化的目标神经网络发送给至少一个所述训练主机，以使得所述训练主机根据所述目标神经网络生成所述状态动作样本数据。

可选地，所述至少将经过训练的目标神经网络分别发送给至少一个所述训练主机包括：将经过训练的目标神经网络以及目标操作环境的数据分别发送给至少一个所述训练主机，发送给至少一个所述训练主机的所述目标操作环境的数据对应于至少一种操作环境。

可选地，所述目标神经网络包括控制策略网络和价值网络，包括所述控制策略网络用于生成机械臂抓取物体的抓取控制数据，所述价值网络用于对控制策略网络生成的抓取控制数据生成奖励估计数据。

可选地，所述动作控制数据为抓取控制数据，所述状态动作样本数据还包括控制结果数据和动作控制奖励数据。

可选地，所述操作环境的数据包括机械臂的物理参数数据、抓取物体的参数数据和抓取环境的数据。

根据本发明实施例的第二方面，提供一种网络训练方法，包括：通过本地的目标神经网络，获取操作状态数据的动作控制数据；向中央训练服务器发送包括所述操作状态数据和相应的动作控制数据的状态动作样本数据；从中央训练服务器接收经过训练的目标神经网络；将接收到的目标神经网络设置为本地的目标神经网络，以根据本地的目标神经网络采集新的状态动作样本数据。