[发明专利]文本信息处理方法及装置

权利要求书

1.一种文本信息处理方法，其中，所述方法包括：

从包括待处理文本的图像中识别出所述待处理文本；

将所述待处理文本输入预先训练的循环神经网络语言模型，识别所述待处理文本中的错别字；

将所述待处理文本中的错别字输入预先训练的文本纠错模型，得到所述错别字对应的相似字；

利用所述文本纠错模型，基于所述待处理文本的连贯性，确定所述相似字中与所述错别字对应的正确文字，采用所述正确文字替换所述错别字，得到所述待处理文本的纠错文本；

其中，所述文本纠错模型包括：词库过滤模块、流畅度判定模块和连贯性判定模块；

所述利用所述文本纠错模型，基于所述待处理文本的连贯性，确定所述相似字中与所述错别字对应的正确文字，采用所述正确文字替换所述错别字，得到所述待处理文本的纠错文本，包括：

对于任意一个相似字，执行如下的判断步骤：将该相似字输入所述词库过滤模块，替换所述待处理文本中对应的错别字，得到替换文本，并判断所述替换文本中含有所述相似字的词语是否与预设词库匹配；响应于确定含有所述相似字的词语与预设词库匹配，通过所述流畅度判定模块得到待处理文本中含有所述词语的短语的流畅度，并根据所述流畅度筛选出候选词语，得到候选词文本，其中，所述流畅度由词语共现概率确定；将所述候选词文本输入所述连贯性判定模块，得到包括所述候选词语的句子的连贯性数值；

根据各替换文本的连贯性数值，确定所述错别字的正确文字，采用所述正确文字替换所述错别字，得到所述纠错文本。

2.根据权利要求1所述的方法，其中，在所述利用所述文本纠错模型，基于所述待处理文本的连贯性，确定所述相似字中与所述错别字对应的正确文字，采用所述正确文字替换所述错别字，得到所述待处理文本的纠错文本之后，所述方法还包括：

将所述纠错文本输入预先训练的填充模型，根据上下文获取所述纠错文本缺失的内容，得到所述纠错文本的完整文本。

3.根据权利要求2所述的方法，其中，在所述将所述纠错文本输入预先训练的填充模型，根据上下文获取所述纠错文本缺失的内容，得到所述纠错文本的完整文本之后，所述方法还包括：

根据识别所述待处理文本时存储的所述待处理文本在所述图像中的位置信息，确定所述完整文本的显示位置。

4.根据权利要求1所述的方法，其中，所述将所述待处理文本输入预先训练的循环神经网络语言模型，识别所述待处理文本中的错别字，包括：

通过所述预先训练的循环神经语言模型计算所述待处理文本中的单字的似然概率值，以及含有所述单字的句子的似然概率值；

响应于确定所述单字的似然概率值小于含有所述单字的句子的似然概率值，判定所述单字为错别字。

5.根据权利要求1所述的方法，其中，所述从包括待处理文本的图像中识别出所述待处理文本，包括：

根据预先选定的所述待处理文本在所述图像中的位置信息和实体类型识别所述图像中的待处理文本。