[发明专利]手写汉字图像恢复书写轨迹的方法及设备

权利要求书

1.一种手写汉字图像恢复书写轨迹的方法，其特征在于，该方法包括：

利用动态手写汉字点坐标和点状态数据制作笔画递减的序列图片数据集；

利用所述序列图片数据集训练MCnet模型，其中，所述MCnet模型的运动编码模块中的原deep ConvLSTM模块由deep RBM模块替代；

将静态手写汉字图片输入到训练好的MCnet模型中，得到笔画逐次减少的图片序列；

按序列的从后往前的顺序，依次滤除所述笔画逐次减少的图片序列中不存在笔画的图片，得到筛选后的图片序列；

基于所述静态手写汉字图片和所述筛选后的图片序列，得到对应于所述静态手写汉字图片的书写轨迹的笔画图片序列。

2.根据权利要求1所述的手写汉字图像恢复书写轨迹的方法，其特征在于，所述动态手写汉字点坐标和点状态数据的格式如下：

[(x₁，y₁，s₁)，(x₂，y₂，s₂)，(x₃，y₃，s₃)，…，(x_n，y_n，s_n)]，

其中，x_n表示xy二维平面的x坐标值，y_n表示二维平面的y坐标值，x_n和y_n反应了手写汉字的第n个笔画的坐标点信息，s_n表示手写汉字的第n个笔画的坐标点的状态，包括0、1和2三种状态，其中，0表示手写汉字的某个笔画持续，1表示手写汉字的某个笔画结束，2表示整个手写汉字的笔画结束。

3.根据权利要求1或2所述的手写汉字图像恢复书写轨迹的方法，其特征在于，利用动态手写汉字点坐标和点状态数据制作笔画递减的序列图片数据集，包括：

利用动态手写汉字点坐标和点状态数据制作黑底白字的笔画递减的序列图片数据集，得到图片的帧数为M的笔画递减的序列图片数据集，M为大于等于4的正整数，其中，当制作得到序列图片数据集中的图片的帧数为N不足M时，N为小于M的正整数，则分别用尺寸大小与制作的笔画递减的序列图片数据集中的首帧的尺寸大小相等的全黑的图片作为所述序列图片数据集N+1帧至M帧；

将图片的帧数为M的序列图片数据集中除首帧的图片和首帧的图片的后续两帧的图片之外的图片作为MCnet模型训练阶段的标签图片。

4.根据权利要求1所述的手写汉字图像恢复书写轨迹的方法，其特征在于，利用所述序列图片数据集训练MCnet模型，包括：

把图片的帧数为M的序列图片数据集中的首帧的图片与第二帧的图片的差值及所述首帧的图片与第三帧的图片的差值输入到所述MCnet模型的运动编码模块，以依次经过运动编码模块中的卷积操作模块和deep RBM模块得到第一历史帧序列的变化信息，及依次经过运动编码模块中的卷积操作模块、多尺度运动残差融合模块得到多尺度运动残差融合特征；

将图片的帧数为M的序列图片数据集中的首帧的图片输入到所述MCnet模型的内容编码模块得到第一内容编码特征，及将图片的帧数为M的序列图片数据集中的首帧的图片依次经过所述MCnet模型的内容编码模块、多尺度内容残差融合模块得到多尺度内容残差融合特征；

将所述第一历史帧序列的变化信息与和所述第一内容编码特征进行拼接，然后经过融合后，得到拼接融合特征，将所述拼接融合特征与多尺度运动残差融合特征、多尺度内容残差融合特征输入到所述MCnet模型的解码层，预测得到下一帧的图片；

将当前的预测得到的下一帧图片与对应一帧的标签图片进行比较，以计算损失，并把计算得到的损失加入到损失列表中；将图片的帧数为M的序列图片数据集中的首帧的图片与当前的预测得到的下一帧图片的真值之差输入到所述运动编码模块中，依次经过所述卷积操作模块和deep RBM模块，以提取第一运动时序特征，将所述第一运动时序特征与所述第一内容编码特征依次经过包括拼接、融合、解码的操作，以预测得到的下一帧图片；依次循环执行本步骤，直至所述损失列表中得到M-3个损失；

利用梯度下降联合优化所述损失列表中的M-3个损失，以优化所述MCnet模型中的参数，得到训练好的MCnet模型。