[发明专利]店铺招牌识别方法及装置、存储介质和计算机设备

说明书

一种店铺招牌识别方法及装置、存储介质和计算机设备，所述方法包括：获取目标图片，所述目标图片通过对待识别招牌进行图像采集得到；对所述目标图片进行文本区域检测，以得到所述待识别招牌中包含的一个或多个文本区域；对各个文本区域进行文本识别，以得到各个文本区域的文本内容；将所述待识别招牌的所有文本内容与招牌信息库中存储的招牌信息相匹配，并输出匹配结果。由此，能够提高对店铺招牌识别的效果。

技术领域

本发明涉及计算机技术领域，具体地涉及一种店铺招牌识别方法及装置、存储介质和计算机设备。

背景技术

自然场景图像的文本检测识别作为机器理解图像的关键步骤，具有重要的现实意义和应用价值，广泛应用于机器翻译、助盲导航、自动驾驶等领域。

传统地对招牌进行检测时，传统的方法是采用字符分割方法将招牌中的各个文字分割出来，再进行单字符识别。然而该方法主要适用一些背景简单的场景，比如对单据的内容识别等。在针对招牌对应的自然场景时，由于图片中的背景等噪声影响，使得字符分割难度加大，导致招牌识别的效果较差。

由此，亟需一种店铺招牌方法以提高招牌识别的效果。

发明内容

本发明解决的技术问题是如何提高店铺招牌识别的效果。

为解决上述技术问题，本发明实施例提供一种店铺招牌识别方法，所述方法包括：获取目标图片，所述目标图片通过对待识别招牌进行图像采集得到；对所述目标图片进行文本区域检测，以得到所述待识别招牌中包含的一个或多个文本区域；对各个文本区域进行文本识别，以得到各个文本区域的文本内容；将所述待识别招牌的所有文本内容与招牌信息库中存储的招牌信息相匹配，并输出匹配结果。

可选的，所述对所述目标图片进行文本区域检测，以得到所述待识别招牌中包含的一个或多个文本区域，包括：提取所述目标图片的具有不同分辨率的若干个第一特征图；对所述若干个第一特征图进行特征增强，并将若干个增强的第一特征图进行特征融合，得到第二特征图；根据所述第二特征图得到所述待识别招牌中包含的一个或多个文本区域。

可选的，所述将若干个增强的第一特征图进行特征融合，得到第二特征图，还包括：对若干个增强的第一特征图分别卷积，以得到各个增强的第一特征图对应的第三特征图；经双线性差值处理将各个第三特征图放大/缩小到相同的分辨率，并对放大/缩小后的若干个第三特征图进行特征融合，得到所述第二特征图。

可选的，所述根据所述第二特征图得到所述待识别招牌中包含的一个或多个文本区域，包括：将所述第二特征图分别进行多次卷积处理，在所述第二特征图中标注所述文本区域、所述文本区域的核以及所述文本区域的相似向量；结合所述第二特征图中标注的文本区域、核和相似向量，从所述第二特征图中分割出一个或多个所述文本区域。

可选的，所述对各个文本区域进行文本识别，以得到各个文本区域的文本内容，包括：针对每一文本区域，通过特征提取网络提取该文本区域的若干个不同分辨率的文本特征图；将若干个所述文本特征图经卷积对准模块，得到各个文本特征图的注意力权重矩阵；根据各个文本特征图及其注意力权重矩阵，得到待识别招牌中包含的文本对应的特征注意力结果；使用解码器对所述特征注意力结果进行解码，以得到该文本区域的文本内容。

可选的，所述根据各个文本特征图及其注意力权重矩阵，得到待识别招牌中包含的文本对应的特征注意力结果，包括：计算各个文本特征图与其注意力权重矩阵之间的点积之和，所述和为所述特征注意力结果。

可选的，所述文本内容包括若干个字符，所述解码器在解码过程中，将当前字符的前一字符的解码结果引入所述当前字符的解码过程中。

可选的，所述招牌信息库中还存储各个招牌信息对应的位置信息，所述方法还包括：获取所述待识别招牌的地理位置信息；结合所述待识别招牌的地理位置信息，将所述待识别招牌的所有文本内容与招牌信息库中存储的招牌信息相匹配。