[发明专利]一种基于书写视频的笔画分割方法及书法临摹指导方法

说明书

本发明公开了一种基于书写视频的笔画分割方法及书法临摹指导方法，其中，基于书写视频的笔画分割方法，重新设计卷积神经网络，将卷积神将网络和循环神经网络相结合，大大减少了神经网络的参数，加快了训练速度；并且增强了对视频帧的空间特征的表达能力，同时又提取了书法字书写的时域运动信息，实现高准确率的细粒度动作识别。本发明的书法临摹指导方法，采用上述基于书写视频的笔画分割方法，利用笔画分割得到的笔画视频，能够实现对书法临摹过程的精确指导。

技术领域

本发明属于计算机识别技术领域，涉及一种基于书写视频的笔画分割方法及书法临摹指导方法。

背景技术

中国书法是一种独特的视觉艺术，是数千年中国文化的结晶，对中国传统文化的传承起到重要的作用。随着中国对其传统文化的逐渐重视，越来越多的中国人以及外国人开始学习中国书法。而书法学习的基础在于掌握书写过程中的运笔之法，正所谓“书法之妙，全在运笔”(语出清代康有为)，而在古代亦有书法家蔡邕著有《笔势》一书，足见书法运笔在中国书法书写过程中的重要性。

书法初学者常见的学习方法是临摹学习，在此过程中，首先需要掌握的就是基本笔画的运笔方法。然而，目前中国书法严重缺乏教学资源，导致很多书法学习者难以获得优质的书法教学，这将成为严重阻碍中国书法的学习推广的主要因素之一。为了对书法学习者进行指导，采用对书法动作进行识别的方法实现。

现有技术中缺少对书法书写动作识别的相关工作(无论是针对静态图像还是动态视频)。与之相类似的工作有基于图像或视频的人体行为或动作的识别，主要包括传统机器学习方法和深度学习方法。随着深度学习方法的广泛应用，大量基于卷积神经网络(CNN)的方法用于静态视频帧中的动作识别，相对于传统机器学习方法，识别效果得到显著提升。Andrej等人在CNN的框架中加入时间卷积，来获取时域上的局部运动信息，相对于静态CNN的识别方法提高了2％。但由于该时间卷积只能获取短暂数帧的时域信息，而在运动幅度小的视频中，几帧图像的静态信息几乎一致，难以达到获取时域运动信息的目的，因此此类方法对于动作变化细微的视频，识别精度有限。

发明内容

针对现有技术中存在的问题，本发明的目的在于，提供一种基于书写视频的笔画分割方法，该方法能够对书写者的提笔和落笔工作进行准确分割，实现笔画分割的目的。

为了实现上述目的，本发明采用以下技术方案：

一种基于书写视频的笔画分割方法，该方法用于将书写视频按照笔画分割成多个笔画视频，包括以下步骤：

步骤1，获取书写单个字的书写视频，该书写视频包括多帧图像；将该多帧图像分成多个视频组，每个视频组包括n帧连续的图像；

步骤2，针对每个视频组，将视频组包括的所有图像输入到卷积神经网络中，卷积神经网络输出该视频组对应的图像空间特征向量；该卷积神经网络包括两个第一卷积组、两个第二卷积组、三个全连接层和一个softmax层，其中，第一卷积组包括按照数据传输方向依次连接的两个卷积层和一个池化层，第二卷积组包括按照数据传输方向依次连接的三个卷积层和一个池化层；三个全连接层和一个softmax层按照数据传输方向依次连接，三个全连接层和一个softmax层为卷积神经网络的最后四层；

步骤3，将视频组对应的图像空间特征向量输入到循环神经网络中，循环神经网络输出该视频组的状态为书写状态或者非书写状态；

步骤4，在状态为非书写状态的所有视频组中选取相邻的两个视频组，该选取的相邻的两个视频组之间的所有视频组组合在一起形成一个笔画视频；状态为非书写状态的所有视频组中的第一个视频组之前的所有视频组组合在一起形成一个笔画视频；状态为非书写状态的所有视频组中的最后一个视频组之后的所有视频组组合在一起形成一个笔画视频。

可选地，所述两个第一卷积组、两个第二卷积组、三个全连接层和一个softmax层按照数据传输方向依次连接。