[发明专利]基于自然语言处理的文本要素提取方法及其文本审查系统

说明书

本申请提供一种基于自然语言处理的文本要素提取方法，用于审核文本中的要素是否符合预定的审核规则，包括如下步骤：基于相应的识别模式对于待审核文本进行分词，当检验到预定的业务特征值时，基于该识别模型，将与该业务特征值相邻的文本要素予以提取；所述业务特征值与所述文本要素之间的对应关系提前预存所述识别模型中。该提取方法基于业务规则和统计结合的文本要素提取方式，能够有效的降低模型训练对语料数量的要求。此外，本申请还提供一种基于自然语言处理的文本审查系统，能够解决已有项目中的文档要素定义、分析规则、模型等成果无法有效积累，在新的项目中无法使用已有成果，致使大量的人员投入到重复的工作中的问题。

技术领域

本申请涉及自然语言处理的技术领域，特别涉及一种基于自然语言处理的文本要素提取方法及其处理系统。

背景技术

自然语言处理是计算机科学领域与人工智领域中的一个重要方向。它研究能实现人与计算机之间用日常用语(自然语言)进行有效通信的各种理论和方法。自然语言处理作为机器学习的代表，最为关键的要素就是模型的建立和训练。在自然语言处理中，模型训练的流程可分为四部分：数据输入、预处理、模型训练以及模型强化(如下图所示)。首先，我们会确认文档类型，输入业务核心词典和大量的文本数据。其次，我们需要对文本进行预处理并生成语料。将语料进行模型训练，便可以实现关键信息识别的功能。系统根据识别的信息与审查内容进行比对，从而向用户提供风险提示。目前文本要素提取采用的是CRF算法(条件随机场算法)，其结合了最大熵模型和隐马尔可夫模型的特点，近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。

文本要素智能提取是基于自然语言处理中的分词和命名实体识别技术将文本中有确定含义的词抽取出来，基于文本要素智能提取技术能够将非结构化的文本信息进行结构化处理，并为之制定相应的分析规则，实现针对文本数据的深度挖掘分析。

在实际的项目建设过程中，基于现有的自然语言处理技术进行文本要素提取时存在如下几个方面的问题：

1)现有的自然语言处理技术是基于统计的命名实体识别模式对语料数量要求较高，但在项目开展过程中，往往无法获取到足够的语料支撑模型训练，致使提取要素的准确率较低，大大降低了其在业务场景中使用价值。

2)现有的语料标注方式是在文本上进行标注，一方面标注的效率低、准确率不高，同时对标准人员的要求较高，极大的限制了该技术在项目中的应用推广。

3)已有项目中的标准、分析规则、模型等成果无法有效积累，在新的项目中无法使用已有成果，致使大量的人员投入到重复的工作中。

发明内容

为解决上述技术问题，本申请的第一方面提供一种基于自然语言处理的文本要素提取方法，该提取方法基于业务规则和统计结合的文本要素提取方式，能够有效的降低模型训练对语料数量的要求。

为解决上述技术问题，本申请提供一种基于自然语言处理的文本要素提取方法，用于审核文本中的要素是否符合预定的审核规则，包括如下步骤：

基于相应的识别模型，对待审核文本进行分词，当检验到预定的业务特征值时，基于该识别模型，将与该业务特征值相邻的文本要素予以提取；

所述业务特征值与所述文本要素之间的对应关系提前预存所述识别模型中。

可选的，

所述识别模型通过如下步骤建立：

在一个训练样本中，基于要提取的文本要素，确定与其对应出现的至少一个业务特征值，作为提取标签；

将提取标签所在整句文本予以整体提取，并标注；同时，将所述业务特征值予以标注；

基于上述标注，生成语料，进而训练生成所述识别模型。

可选的，