[发明专利]基于全文的大文本CRF和规则分类方法和系统

摘要

本发明提供了一种基于全文的大文本CRF和规则分类方法和系统，是条件随机场和规则分类方法相结合，对大文本的全文进行分类。对输入大文本的标题部分采用基于语义的统计CRF分类方法；对大文本的正文部分采用基于规则的词袋分类方法；最后按照CRF分类结果为主规则分类结果为辅的方式对分类结果进行整合、去重、排序，输出语义层次和字符层次整合的最终分类结果。这种方法由于解决了标题的高度抽象性和正文的实体繁杂性之间的矛盾，实现了对文本不同视角的认识，满足了不同人群对大文本的个性化认识，具有全文分类整体准确度高的特点。

主权项

基于全文的大文本CRF和规则分类方法，其特征在于，包括以下步骤：将待拆分文件拆分成标题文本和正文文本两部分并分别保存；采用CRF文本处理方式对所述标题文本进行处理得到文件名和分类分本之间的对应关系，根据每个分类目录下存储的文件名进行三级分词处理并对分词结果进行分类标注，并采用CRF learn方法进行标题分类建模得到CRF模型；采用DEC文本处理方式对所述正文文本进行处理得到分词文本和分类分本之间的对应关系，根据每个分类目录下存储分词文本进行三级分词处理并对分词结果构建DEC张量并进行DEC类处理得到DEC模型；获取待分类文件并将其拆分成待分类标题文本和待分类正文文本两部分分别保存；将所述待分类标题文本进行三级分词处理并采用CRF test方法调用所述CRF模型计算得出CRF分类结果；将所述待分类正文文本进行三级分词处理并构建DEC张量后调用所述DEC模型计算得出DEC分类结果；取所述CRF分类结果中的第一个和所述DEC分类结果中的前四个并进行去重处理得到分类结果并输出。