[发明专利]一种通过强化学习训练书法机器人的方法

权利要求书

1.一种通过强化学习训练书法机器人的方法，包括以下步骤：

获取目标书法作品图片，并输入到卷积神经网络进行特征提取，获得图像预处理结果；

构建深度强化学习模型，该深度强化学习模型的智能体输出用于控制机器人书写的指令，环境的状态观测量是图像预处理结果；

智能体根据输入的状态观测量和奖赏，通过随机梯度下降进行训练，其中奖赏反映机器人书法作品和目标书法作品之间的匹配程度，并且训练过程中，机器人书写的书法作品也作为环境的状态观测量。

2.根据权利要求1所述的方法，其中，所述深度强化学习模型的训练过程包括：

随机初始化构成智能体的神经网络的权重和偏差；

在机器人第一次完成书法字后，将机器人创作的书法字和目标书法作品的对应书法字进行比较，得到代表机器人书法作品艺术价值的分数值，并将该分数值作为奖赏输入到智能体；

经过多次迭代，直到机器人书写的书法作品与目标书法作品图片之间的匹配程度达到预设的目标值。

3.根据权利要求1所述的方法，其中，在书写过程中，机器人的机械臂上设置的压力传感器、加速度传感器产生的测量数据作为状态观测量反馈到智能体，以建立机器人的机械臂发出的运动指令和机械臂运动之间的联系。

4.根据权利要求2所述的方法，其中，所述分数值利用孪生神经网络获得，该孪生神经网络的输入分别是机器人书写的书法作品和目标书法作品。

5.根据权利要求2所述的方法，其中，所述分数值根据机器人书写的书法作品和目标书法作品所有相对应像素值的平方差的平均值获得。

6.根据权利要求1所述的方法，其中，所述卷积神经网络是VGG-16，将该卷积神经网络靠近输出层的全连接层的输出作为图像预处理结果。

7.根据权利要求1所述的方法，其中，所述目标书法作品图片通过机器人上设置的摄像机拍摄或经由网络下载获得。

8.根据权利要求1所述的方法，其中，所述卷积神经网络提取的特征包括笔画特征、轮廓特征、骨架特征和像素特征中的一项或多项。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。