[发明专利]对手写汉字黑板板书进行指导的方法、系统及设备

权利要求书

1.一种基于深度学习的对手写黑板汉字板书进行指导的方法，其包括如下步骤：

S100：采集用于指导的黑板汉字板书的图像作为训练图像集；

S200：对所述训练图像集进行预处理；

S300：构建黑板板书整体布局数据集和单汉字美感度数据集；

S400：利用所述黑板板书整体布局数据集构建并训练黑板板书整体布局指导模型；

S500：利用所述单汉字美感度数据集构建并训练单汉字美感度指导模型；

S600：利用所述训练好的黑板板书整体布局指导模型和单汉字美感度指导模型对手写黑板汉字板书进行指导。

2.根据权利要求1所述的方法，优选的，所述步骤S200进一步包括如下步骤：

S201：提取所述训练图像集中的黑板区域；

S202：对板书内的文本内容进行识别，将所识别到的信息进行存储和整理。

3.根据权利要求1所述的方法，所述步骤S300进一步包括如下步骤：

S301：对于黑板板书整体布局数据集，其元素信息包括黑板内文本段落、行、字的坐标信息、外接矩阵信息及黑板的整体像素；

S302：对于单汉字美感度数据集，根据每个汉字的外接矩形，将汉字裁剪成图片，基于图像填充算法，在保证图像内文字信息不改变的情况下，将图像填充成N*N，N为图形的分辨率，N的取值范围为[64,224],图像打标采用专家人工标注的方式。

4.根据权利要求1所述的方法，所述步骤S400中的黑板板书整体布局指导模型包含输入层、隐藏层和输出层，其中，隐藏层为三层全连接层，输出层激活函数为sigmoid激活函数。

5.根据权利要求1所述的方法，所述步骤S400中的黑板板书整体布局指导模型所用的损失函数为均方根误差，使用梯度下降算法进行训练，降低损失直到收敛，进而得到训练好的黑板板书整体布局指导模型。

6.根据权利要求1所述的方法，所述步骤S500中的单汉字美感度指导模型包括了用于提取图像元素信息的1-VGG模型和用于指导元素的位置关系的2-CapsNet模型。

7.根据权利要求6所述的方法，所述1-VGG模型包了4个二维卷积层，各层依次连接为：卷积层conv1，ReLU层conv1-ReLU，池化层conv2，ReLU层conv2-ReLU，池化层MaxPool2d，卷积层conv3，ReLU层conv3-ReLU,池化层MaxPool2d，卷积层Conv4；其中，所述1-VGG模型所用卷积核为3*3。

8.根据权利要求6所述的方法，所述2-CapsNet模型包括一个卷积层，一个主胶囊层，一个数字胶囊层，三层全连接层，各层依次连接为：卷积层conv5，主胶囊层PrimaryCaps，数字胶囊层DigCaps,三层全连接层Liner。

9.一种基于深度学习的对手写黑板汉字板书进行指导的系统，包括客户端和服务器，其中，

客户端包括用户信息注册及登录单元、用户板书信息获取单元和指导结果呈现单元；

服务器包括数据的初步预处理单元、数据的后继预处理单元、黑板板书整体布局指导单元和单汉字美感度指导单元。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的基于深度学习的对手写黑板汉字板书进行指导的方法。