[发明专利]一种图像的语义识别方法、装置、设备和存储介质

说明书

本发明公开了一种图像的语义识别方法、装置、设备和存储介质。包括：根据样本字符识别结果进行训练获取信息抽取训练模型；对待测图像进行光学字符识别获取待测字符识别结果；根据待测字符识别结果进行分割处理获取待测语料，将待测语料输入信息抽取训练模型获取待测图像的语义识别结果。通过较少的样本字符识别结果进行训练所获取的信息抽取训练模型，来对待测字符识别结果进行信息抽取，从而在无需大量标注数据的情况下，就可以实现对具有多样式文本分布的图像进行有效的语义识别。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种图像的语义识别方法、装置、设备和存储介质。

背景技术

光学字符识别(Optical Character Recognition，OCR)是将图像上的文字进行检测并识别的技术，其输出待有坐标点的文本，在实际应用中可以根据通过OCR所识别的无序文本中找到有用的信息。

通过实体抽取技术可以从文本中抽取有用的信息，但是会涉及到海量标注文本，一般的纯文本场景具有公开的标注语料或可快速积累语料，然而OCR识别出来的文本通常是特殊应用场景，找不到开源可训练语料且很难标注；同时，OCR识别出来后的文本通常不再具备可读性，如人为可判别图像上某一部分为一段语义信息，但是OCR之后基本都会按行打乱数据，不再具备正常的语言顺序。

目前普通的具有一定写作规范的图像，如证件照通常是基于模版进行OCR识别,OCR识别出来的结果通过简单的后处理就具有结构化信息；稍微复杂的图像采用BERT+CRF进行信息抽取以及规则后处理实现。但是无法在少样本前提下进行有效抽取，且忽略了文本分布的多样性，从而丢失很多文本信息。

发明内容

本发明提供了一种图像的语义识别方法、装置、设备和存储介质，以对图像进行有效的语义识别。

根据本发明的一方面，提供了一种图像的语义识别方法，包括：根据样本字符识别结果进行训练获取信息抽取训练模型；

对待测图像进行光学字符识别获取待测字符识别结果；

根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果。

根据本发明的另一方面，提供了一种图像的语义识别装置，包括：模型训练模块，用于根据样本字符识别结果进行训练获取信息抽取训练模型；

待测字符识别结果获取模块，用于对待测图像进行光学字符识别获取待测字符识别结果；

语义识别模块，用于根据所述待测字符识别结果进行分割处理获取待测语料，将所述待测语料输入所述信息抽取训练模型获取所述待测图像的语义识别结果。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的方法。

本发明实施例的技术方案，通过较少的样本字符识别结果进行训练所获取的信息抽取训练模型，来对待测字符识别结果进行信息抽取，从而在无需大量标注数据的情况下，就可以实现对具有多样式文本分布的图像进行有效的语义识别。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明