[发明专利]基于门限图神经网络的手写汉字识别方法和装置

权利要求书

1.一种基于门限图神经网络的手写汉字识别方法，其特征在于，包括：

确定待识别汉字的汉字节点矩阵以及空间信息关系矩阵；所述汉字节点矩阵中的各汉字节点为所述待识别汉字的书写视频中每一时刻书写位置的坐标；

将所述汉字节点矩阵和所述空间信息关系矩阵输入至汉字识别模型中，得到所述汉字识别模型输出的识别结果；

其中，所述汉字识别模型用于基于门限图神经网络，提取所述汉字节点矩阵对应的包含图结构信息的汉字特征向量，提取所述汉字特征向量中的时序信息，得到时序特征向量，并基于所述时序特征向量进行手写汉字识别。

2.根据权利要求1所述的基于门限图神经网络的手写汉字识别方法，其特征在于，所述将所述汉字节点矩阵和所述空间信息关系矩阵输入至汉字识别模型中，得到所述汉字识别模型输出的识别结果，具体包括：

将所述汉字节点矩阵和所述空间信息关系矩阵输入至所述门限图神经网络，得到所述门限图神经网络输出的所述汉字特征向量；

将所述汉字特征向量输入至所述汉字识别模型中的时序神经网络，得到所述时序神经网络输出的所述时序特征向量；

将所述时序特征向量输入至所述汉字识别模型的多层感知机，得到所述多层感知机输出的所述识别结果。

3.根据权利要求2所述的基于门限图神经网络的手写汉字识别方法，其特征在于，所述将所述汉字节点矩阵和所述空间信息关系矩阵输入至所述门限图神经网络，得到所述门限图神经网络输出的所述汉字特征向量，具体包括：

将所述汉字节点矩阵，作为初始时刻的输入向量；

将所述空间信息矩阵与当前时刻的输入向量沿特征维度拼接融合后，与上一时刻的隐藏层状态共同输入至所述门限图神经网络中的门控单元，得到所述门控单元输出的当前时刻的隐藏层状态；基于最终时刻的隐藏层状态，确定所述汉字特征向量；

其中，所述门限图神经网络包括参数共享的多时间步迭代结构。

4.根据权利要求3所述的基于门限图神经网络的手写汉字识别方法，其特征在于，所述当前时刻的输入向量为上一时刻的隐藏层状态与输入向量间的残差相加连接结果；

所述汉字特征向量为最终时刻的隐藏层状态与输入向量间的残差相加连接结果。

5.根据权利要求2所述的基于门限图神经网络的手写汉字识别方法，其特征在于，所述将所述汉字特征向量输入至所述汉字识别模型中的时序神经网络，得到所述时序神经网络输出的所述时序特征向量，具体包括：

基于全连接层，对所述汉字特征向量进行特征变换，得到变换特征向量；

基于所述时序神经网络，对所述变换特征向量进行时序信息提取，并将最终时刻输出的隐藏层状态作为所述时序特征向量。

6.根据权利要求2所述的基于门限图神经网络的手写汉字识别方法，其特征在于，所述将所述时序特征向量输入至所述汉字识别模型的多层感知机，得到所述多层感知机输出的所述识别结果，具体包括：

基于瓶颈网络，对所述时序特征向量进行变换，得到瓶颈网络处理向量；

基于所述多层感知机，对所述瓶颈网络处理向量进行汉字分类，得到所述识别结果。

7.根据权利要求1至6任一项所述的基于门限图神经网络的手写汉字识别方法，其特征在于，所述空间信息关系矩阵是基于如下步骤确定的：

确定所述汉字节点矩阵中各汉字节点之间的距离；

基于各汉字节点之间的距离，经过线性变换网络以及激活层，确定所述汉字节点矩阵的邻接矩阵；

对所述汉字节点矩阵进行线性编码后，与所述邻接矩阵相乘，得到所述空间信息关系矩阵。