[发明专利]基于全文的大文本CRF和规则分类方法和系统

说明书

本发明提供了一种基于全文的大文本CRF和规则分类方法和系统，是条件随机场和规则分类方法相结合，对大文本的全文进行分类。对输入大文本的标题部分采用基于语义的统计CRF分类方法；对大文本的正文部分采用基于规则的词袋分类方法；最后按照CRF分类结果为主规则分类结果为辅的方式对分类结果进行整合、去重、排序，输出语义层次和字符层次整合的最终分类结果。这种方法由于解决了标题的高度抽象性和正文的实体繁杂性之间的矛盾，实现了对文本不同视角的认识，满足了不同人群对大文本的个性化认识，具有全文分类整体准确度高的特点。

技术领域

本发明属于文本处理领域，尤其涉及到一种基于全文的大文本CRF和规则分类方法和系统。

背景技术

自然语言，尤其是文字，是人类知识和智慧的主要载体。如何从文本中挖掘出有用的知识，并由此升华成独到的洞见，是当下互联网时代和未来人工智能时代的主要目标。分类作为自然语言处理的基本任务，将在自然语言知识挖掘中占据核心地位。

一般互联网上的文本都比较短，因此对它的分类和挖掘不会出现准确度低的问题。但是对于某些行业领域的应用，比如石油行业上游研发板块，其研发所参考的文献基本都超过300页以上，而且图文并茂、内容广泛，使得一般短文本分类方法难以对其进行准确分类。

基于规则的大文本分类方法，以词袋为基础进行集合运算得到特征词，通过文本与特征词集合的比较来确定类属关系。规则方法由于破坏了以句子为载体的文本语义，一般用于确定文本字符在类中的份量，是一种字面意义的分类。但是大文本一般都有一个超越字面意义的、抽象度更高、视野更宽阔的意义类，这一般体现为文本的标题、摘要、关键词、前言、简介等部分。而这一意涵丰富的部分如果拆分成无序的词袋，将失去其凝聚为一体的高层意义，如果采用规则分类，分类准确度很低，不能满足业务需求。

纯粹基于统计的分类方法，由于文本规模大，比如超过30万字，任何一种统计方法都将解析出大量的统计特征，在大数据下对这些特征进行优化计算，将耗费大量的系统资源，比如超过200G的内存都不能有效的进行分类模型的迭代计算，计算出来的模型超过5G以上，在运行时将占据大量的内存空间。因此统计的方法虽然有准确度的优势，但是却受到了计算资源的限制，也不能有效而准确的工作。

发明内容

本发明提供了一种基于全文的大文本CRF和规则分类方法和系统，是条件随机场(CRF:Conditional Random Filed)和规则分类方法相结合，对大文本的全文进行分类。对输入大文本的标题部分采用基于语义的统计CRF分类方法；对大文本的正文部分采用基于规则的词袋分类方法；最后按照CRF分类结果为主规则分类结果为辅的方式对分类结果进行整合、去重、排序，输出语义层次和字符层次整合的最终分类结果。这种方法由于解决了标题的高度抽象性和正文的实体繁杂性之间的矛盾，实现了对文本不同视角的认识，满足了不同人群对大文本的个性化认识，具有全文分类整体准确度高的特点。

本发明提供一种基于全文的大文本CRF和规则分类方法，其包括以下步骤：

将待拆分文件拆分成标题文本和正文文本两部分并分别保存；

采用CRF文本处理方式对所述标题文本进行处理得到文件名和分类分本之间的对应关系，根据每个分类目录下存储的文件名进行三级分词处理并对分词结果进行分类标注，并采用CRF learn方法进行标题分类建模得到CRF模型；

采用DEC文本处理方式对所述正文文本进行处理得到分词文本和分类分本之间的对应关系，根据每个分类目录下存储分词文本进行三级分词处理并对分词结果构建DEC张量并进行DEC类处理得到DEC模型；

获取待分类文件并将其拆分成待分类标题文本和待分类正文文本两部分分别保存；

将所述待分类标题文本进行三级分词处理并采用CRF test方法调用所述CRF模型计算得出CRF分类结果；