[发明专利]基于卷积神经网络识别单词的方法和装置

说明书

本发明提供了一种基于卷积神经网络识别单词的方法和装置。该方法包括采用卷积神经网络模型对原始图像进行特征提取以输出第一特征图；将第一特征图在高度维度上切片以得到多个第二特征图；分别自上而下、自下而上对多个第二特征图进行卷积和相加运算以得到第三特征图；将第三特征图在宽度维度上切片以得到多个第四特征图；分别自左向右、自右向左对多个第四特征图进行卷积和相加运算以得到第五特征图；通过平均池化和全连接的方式将第五特征图映射到单词相似性概率空间以得到第一单词语义空间特征图；采用时序分类算法求解第一单词语义空间特征图对应的最优的单词序列，从而利用上下文空间序列学习卷积神经网络，充分探索图像中上下文的语义关系。

技术领域

本发明涉及卷积神经网络技术领域，具体涉及一种基于卷积神经网络识别单词的方法和装置。

背景技术

现有的任意长度单词识别方法中在深度神经网络中使用空间信息通常采用两种方式，一种为使用长短期记忆网络(Long Short-Term Memory，LSTM)变体探索上下文语义信息，但该方法不易训练而且计算消耗较大；另一种为使用循环神经网络(RecurrentNeural Network，RNN)按照每行和列传递信息，但特征图上的每个点只能接受最邻近的同一行或列的信息，无法探索到更加丰富的空间层次。

发明内容

有鉴于此，本发明实施例提供一种基于卷积神经网络识别单词的方法和装置，能够有效克服现有技术中学习空间语义的相互关系时参数量大、耗时、不易训练的缺点，同时可探索更加丰富的空间层次，使序列特征分类的更加准确。

在本发明实施例的第一方面，本发明实施例提供了一种基于卷积神经网络识别单词的方法，包括：采用卷积神经网络模型对原始图像进行特征提取以输出第一特征图；将第一特征图在高度维度上切片以得到多个第二特征图；分别自上而下、自下而上对多个第二特征图进行卷积和相加运算以得到第三特征图；将第三特征图在宽度维度上切片以得到多个第四特征图；分别自左向右、自右向左对多个第四特征图进行卷积和相加运算以得到第五特征图；通过平均池化和全连接的方式将第五特征图映射到单词相似性概率空间以得到第一单词语义空间特征图；采用时序分类算法求解第一单词语义空间特征图对应的最优的单词序列。

在本发明一实施例中，第一特征图的尺寸为C*H*W₁，C为通道数，H为高度，W₁为宽度，上述将第一特征图在高度维度上切片以得到多个第二特征图，包括：将第一特征图在高度维度上切片成第二特征图1、第二特征图2、第二特征图3…第二特征图H共H个单片的第二特征图，其中，上述分别自上而下、自下而上对多个第二特征图进行卷积和相加运算以得到第三特征图，包括：将第二特征图1作为输入，自上而下对H个单片的第二特征图进行卷积和相加运算以获得新的第二特征图1、新的第二特征图2、新的第二特征图3…新的第二特征图H；将新的第二特征图H作为输入，自下而上对新的第二特征图1、新的第二特征图2、新的第二特征图3…新的第二特征图H进行卷积和相加运算以得到第三特征图。

在本发明一实施例中，上述通过平均池化和全连接的方式将第五特征图映射到单词相似性概率空间中以得到第一单词语义空间特征图之后，所述方法还包括：对第一单词语义空间特征图进行Softmax计算以得到第二单词语义空间特征图，其中，上述采用时序分类算法求解第一单词语义空间特征图对应的最优的单词序列，包括：采用时序分类算法求解第二单词语义空间特征图对应的最优的单词序列。