[发明专利]手写汉字图像恢复书写轨迹的方法及设备

说明书

本发明的目的是提供一种手写汉字图像恢复书写轨迹的方法及设备，本发明把静态手写汉字图片恢复出能够反应全部书写轨迹的序列图片问题转换为视频序列预测问题，使用笔画逐渐较少的序列图片训练deep RBM替代deep ConvLSTM的MCnet模型，把单张静态手写汉字图片输入到训练好的MCnet模型得到轨迹序列图片，实现对于给定的静态手写汉字图片,可以恢复出能够反应全部书写轨迹的图片序列。本发明相较于传统OCR方法，采用深度学习技术的本专利方案，鲁棒性更好。本发明不仅能应用于比较规整的手写图片，对于连笔手写图片，也能取得很好效果。恢复出的能够反应全部书写轨迹的图片序列可以应用于手写汉字的识别。

技术领域

本发明涉及计算机领域，尤其涉及一种手写汉字图像恢复书写轨迹的方法及设备。

背景技术

静态手写汉字图像恢复书写轨迹，指的是在已知手写汉字静态图片的前提下，恢复手写汉字全部书写轨迹的序列图片，序列图片示例如图1所示。

手写汉字书写轨迹恢复技术包括在线手写汉字书写轨迹恢复和离线手写汉字书写轨迹恢复，其中，

在线手写汉字书写轨迹恢复需要连接能够记录笔画路径坐标和时序信息的数码笔、手写板等设备；离线手写汉字书写轨迹恢复的输入是经过纸笔书写后并数字化的静态图片。

对于在线笔画还原，由于已经从输入设备中得到了笔画路径坐标和时序信息，因此恢复书写轨迹比较简单，只需通过绘图程序或者绘图软件就能绘制出反应书写轨迹的序列图片；

而对于离线书写轨迹恢复，由于只知道表征手写汉字形状的数字化静态图像信息，无法知道能够表征汉字笔画书写顺序的时序信息。因此，只利用离线手写汉字恢复书写轨迹实现起来比较困难。

发明内容

本发明的一个目的是提供一种手写汉字图像恢复书写轨迹的方法及设备。

根据本发明的一个方面，提供了一种手写汉字图像恢复书写轨迹的方法，该方法包括：

利用动态手写汉字点坐标和点状态数据制作笔画递减的序列图片数据集；

利用所述序列图片数据集训练MCnet模型，其中，所述MCnet模型的运动编码模块中的原deep ConvLSTM模块由deep RBM模块替代；

将静态手写汉字图片输入到训练好的MCnet模型中，得到笔画逐次减少的图片序列；

按序列的从后往前的顺序，依次滤除所述笔画逐次减少的图片序列中不存在笔画的图片，得到筛选后的图片序列；

基于所述静态手写汉字图片和所述筛选后的图片序列，得到对应于所述静态手写汉字图片的书写轨迹的笔画图片序列。

进一步的，上述方法中，所述动态手写汉字点坐标和点状态数据的格式如下：

[(x₁,y₁,s₁),(x₂,y₂,s₂),(x₃,y₃,s₃),…,(x_n,y_n,s_s)]，

其中，x_n表示xy二维平面的x坐标值，y_n表示二维平面的y坐标值，x_n和y_n反应了手写汉字的第n个笔画的坐标点信息，s_n表示手写汉字的第n个笔画的坐标点的状态，包括0、1和2三种状态，其中，0表示手写汉字的某个笔画持续，1表示手写汉字的某个笔画结束，2表示整个手写汉字的笔画结束。进一步的，上述方法中，利用动态手写汉字点坐标和点状态数据制作笔画递减的序列图片数据集，包括：