[发明专利]文本识别模型训练方法、文本识别方法、装置以及介质

说明书

本发明实施例公开了一种文本识别模型训练方法、文本识别方法、装置以及介质。所述文本识别模型训练方法，包括：获取待处理短文本训练数据；根据待处理短文本训练数据生成文本向量序列；对文本向量序列进行序列特征提取处理，得到序列特征提取结果，并将序列特征提取结果确定为短文本分类结果；短文本分类结果包括第一短文本分类标签和第一标签概率；对序列特征提取结果进行实体特征提取处理，得到实体特征提取结果；根据序列特征提取结果和实体特征提取结果对文本识别模型进行训练。本发明实施例的技术方案能够利用对短文本提取的多维特征完成短文本分类以及实体识别，从而提高文本识别模型的精准度。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种文本识别模型训练方法、文本识别方法、装置以及介质。

背景技术

目前，文本识别可以应用于许多领域，如信件和包裹的分拣、稿件的编辑和校对、统计报表汇总分类、文档检索以及诈骗短信识别等，提升各行各业的工作效率。而文本识别主要包括对文本进行分类以及实体识别。其中，文本分类只要是通过计算机对文本集按照一定的分类体系或标准进行自动分类标记。也即根据训练文本数据，对能够找到文本特征和文本之间的关系模型进行训练，然后利用这种学习得到的关系模型对新的文本进行类别判断。文本分类从基于知识的方法逐渐转变为基于统计和机器学习的方法。此外，通过对文本中的实体识别可以便于对文本的分析和处理。

在现有技术中，主要通过机器学习以及深度学习方式对文本进行识别。采用机器学习的方式对文本进行识别时，首先需要人工提取文本特征，例如，ngram(n元语法)、词性以及语法特征等。在人工构建特征后，需要将提取的文本特征输入至常用的分类模型(逻辑回归、支持向量机等)，以利用分类模型完成文本识别任务。当文本数量庞大时，采用机器学习的方式进行文本分类会占用大量人力，且人工进行文本特征提取存在效率低下的问题。而深度学习作为一种端到端的学习方法，采用深度学习的方法可以对输入的原始文本进行简单的预处理，从而根据预处理结果对输入的原始文本进行识别，并且通过设计合理的模型并对模型进行相应优化可以完成文本向量化。从实际应用情况来看，一般在优化良好的情况下深度学习模型的效果明显优于机器学习模型。

对于短文本这类比较特殊的文本来说，存在以下几个特点和难点：(1)当短文本内容过短时，如果应用机器学习模型对短文本进行识别，则难以提取有效的特征。如果应用深度学习模型对短文本进行识别，则不易理解短文本的整体含义，也不易获取短文本的上下文关系。(2)短文本书写不规范，没有统一的书写方式。并且在短文本存在错别字以及网络流行语时，会对短文本分类造成障碍。(3)当短文本分类类别过多时，模型的训练难度会增大。

现有技术中，针对短文本这种特殊的文本(长短不一、书写不规范以及不同种类短文本关键信息分布也不一样)来说，主要采用NER(Named Entity Recognition，命名实体识别)模型对实体进行识别，但得不到很好的效果。其中，实体识别是一种序列标注任务，在对文本中的实体进行识别时，主要采用的时间序列模型主要有LSTM(Long-Short TermMemory，长短期记忆模型循环神经网络)模型、CRF模型(Conditional Random Field，条件随机场)以及BERT模型等。其中，BERT(Bidirectional Enoceder Representations fromTransformers，双向编码器的转换表示)模型是谷歌开源的模型，通过与多层文本挖掘模型机制相结合，能够得出良好的词向量输出。CRF模型是基于无向图的判别式模型，多应用在序列标注任务中。

需要注意的是，现有学习模型只能利用单一维度特征完成单个文本识别任务，也即只利用学习模型对短文本进行文本分类，或者仅利用学习模型对短文本进行实体识别，这使得同一模型无法同时完成对短文本的分类和实体识别，而利用两个学习模型分别进行文本分类和实体识别会耗费大量时长，并且学习模型仅利用单一维度特征对文本进行识别会使得文本识别结果的准确率较低。

发明内容