[发明专利]一种通过强化学习训练书法机器人的方法

说明书

本发明公开了一种通过强化学习训练书法机器人的方法。该方法包括：获取目标书法作品图片，并输入到卷积神经网络进行特征提取，获得图像预处理结果；构建深度强化学习模型，该深度强化学习模型的智能体输出用于控制机器人书写的指令，环境的状态观测量是图像预处理结果；智能体根据输入的状态观测量和奖赏，通过随机梯度下降进行训练，其中奖赏反映机器人书法作品和目标书法作品之间的匹配程度，并且训练过程中，机器人书写的书法作品也作为环境的状态观测量。利用本发明训练的书法机器人不需要人类预先设置书写动作，就能自动学习书法作品与书写动作之间联系，书写出与目标书法作品匹配度更高的作品。

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种通过强化学习训练书法机器人的方法。

背景技术

书法作为一种艺术表现形式，体现了文人的艺术创造力，赏析和创造书法可以给生活带来乐趣。过去50年，电子计算机和软件在汉字的数字化方面取得了长足发展，与此同时，对抗生成神经网络和强化学习等人工智能方法在绘画、音乐等艺术作品的识别、分类、分析和创作方面也取得了令人瞩目的成就。

然而，人工智能在书法创作方面尚未取得有效突破。在现有技术中，书法机器人实现书法写作时，通常是让人类书法家在手和毛笔上安装运动传感器，书法家写一遍书法作品，运动传感器将写书法的动作和过程记录下来，书法机器人再将这些书写的步骤和动作重复一遍。因此现有的书法机器人是没有创造能力的。例如，申请公布号为CN109746916的专利公开了一种书写书法的方法，其根据书法描述模型和预设转换关系获取待书写字对应的机器人控制参数，预设转换关系是待书写字所在坐标系与机器人所在坐标系之间的对应关系，机器人控制参数包括书写待书写字的轨迹上的每一点的位资。这种通过手工预先设计好的书法汉字与机器人控制参数之间的关系不具有拓展性，即该书法机器人无法书写没有预先设置好转换关系的汉字。此外，这种人工预设转换关系的方式难以捕捉书法中的所有毛笔运动细节，使得机器人创作出来的书法作品与真实的书法作品相差甚远。

总之，现有书法机器人不能根据书法作品的书写形态来自动生成机械臂握住毛笔时的书写动作，并且与真实书法的匹配程度较差。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种通过强化学习训练书法机器人的方法，是利用人工智能自动学习书法作品与书写动作之间联系的新技术方案。

本发明的技术方案是提供一种通过强化学习训练书法机器人的方法。该方法包括以下步骤：

获取目标书法作品图片，并输入到卷积神经网络进行特征提取，获得图像预处理结果；

构建深度强化学习模型，该深度强化学习模型的智能体输出用于控制机器人书写的指令，环境的状态观测量是图像预处理结果；

智能体根据输入的状态观测量和奖赏，通过随机梯度下降进行训练，其中奖赏反映机器人书法作品和目标书法作品之间的匹配程度，并且训练过程中，机器人书写的书法作品也作为环境的状态观测量。

与现有技术相比，本发明的优点在于，通过强化学习训练，控制书法机器人自动根据观察书法作品设计出书写动作，并且使书法机器人创作出来的作品和人类书法家作品的水平相似。本发明训练的书法机器人不需要人类预先设置书写动作，只需要看到一幅书画作品，就能将其通过机械臂和与其连接的毛笔进行书写。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的通过强化学习训练书法机器人的方法的流程图；

图2是根据本发明一个实施例的强化学习用于训练书法机器人的过程示意图。

具体实施方式