[发明专利]一种基于多层次结构词典的畜产品安全事件文本分类方法

说明书

本发明涉及一种基于多层次结构词典的畜产品安全事件文本分类方法。方法为：对待处理文本进行分词、去停用词处理；为每个剩余词汇分配一个计数器；分别将每篇文本的剩余分词结果与已构建的畜产品安全事件的多层次结构词典中的词汇进行匹配，并将匹配成功的词汇的计数数值累计加1；最后按照各词汇的计数数值降序排序，将该文本分类到频次最高的词汇所在的词典的层次和类别中。本方法能够辅助分词工具对文本进行分词以提高实体识别的准确率，能够将中文文本按照畜产品安全事件词典的层次结构分类，也可以实现在不用需求下的层次分类，获得各文本之间的层次和类别关系。此外，节省了大量的人力、时间，而且准确率明显提高。

技术领域

本发明涉及人工智能，机器学习和计算机技术领域，具体涉及一种基于多层次结构词典的畜产品安全事件文本分类方法。

背景技术

目前网络上文本数量十分庞大，且类别十分丰富，涉及到各个领域、方面，人们可以从这些文本中挑选出自己感兴趣的文本了解更多的信息，方便自己的生活，学习更多的知识。但是也给人们查找目标文本带来了麻烦，面对杂乱分布的文本，从中找出自己感兴趣的类别文本费时费力，严重影响了人们的效率。同时，通过简单地类别关键词搜索得到的结果中往往包含大量的无意义文本，这些无意义的文本中只是因为包含了搜索关键字。而文本分类是信息组织、文本挖掘的重要基础，能够有效地解决信息紊乱的问题，帮助人们准确的定位所需要的信息，因为文本分类一般综合考虑整个文本的综合情况，大大降低文本内容中的个别词汇引起的类别判定错误。此外，还可以通过预先定义分类类别和体系，根据文本的内容和属性，将文本分类到相关的一个或多个类别中，达到准确的分类效果。

现有的中文文本分类过程，主要分为以下几步：文本预处理、分词、结构化表示、设计分类器。分类方法分为有监督的分类方法、半监督的分类方法、无监督的分类方法，其中，有监督的分类方法需要标记大量数据，数据量大且类别多时十分耗费人力、时间；半监督的分类方法需要标注部分数据，但是分类结果受标注数据的质量影响明显；无监督分类方法不需要标注任何数据，但是分类结果的准确率较低。从中可以看出，每种分类方法都有各自的优缺点，无法找到一种各方面都得到优化的方法。

分类效果还受到文本分词结果的影响，所以利用词典辅助分词工具更准确、更全面的识别各个领域内的自然语言处理工具无法识别的命名实体十分重要，只有正确识别出更多的词汇才能更准确的判定文本的层次和类别。故研究畜产品安全事件中包含的信息量巨大，涉及的范围也广，直接进行实体关系抽取后再分类到知识图谱中的确定位置中很难实现，所以在预处理阶段先进行分类，然后将分类好的各个文本进行实体关系抽取后就能够很好的将实体和关系对应到所构建的知识图谱中，为畜产品安全事件的分析研究提供基础保障，更好的梳理出事件的发生原因、发展脉络等，为民众和政府部门提供预警信息和决策措施，避免或减轻事件发生造成的恶劣后果，保障社会的稳定，人民生活的安定健康。此外，不同的人会对分类的层次和类别有不同的需求，只有架构好分类的层次和类别才能满足人们的各种需求，才能实现最终的分类目标，帮助人们更好的整理杂乱的信息，准确定位目标信息，使分类具有意义。

因此，目前针对中文文本分类的不同需求，缺乏能够应对不同需求且清晰方便的定义出分类的各层次和类别，不需要耗费任何人力、时间去标注任何数据就能达到高准确率的分类方法。

发明内容

为了解决目前针对畜产品安全事件文本分类提出的不同需求，缺乏能够应对不同需求且清晰方便的定义出分类的各层次和类别，不需要耗费任何人力、时间去标注任何数据就能达到高准确率的分类方法，本发明提供了一种基于多层次结构词典的畜产品安全事件文本分类方法，包括：

对待处理文本进行分词、去停用词处理，所述待处理文本是语料库中所需分类的畜产品安全事件文本；

为每个剩余词汇分配一个计数器，初始数值均设置为0，所述剩余词汇是所述每篇食品安全事件文本的所有分词结果去停用词后的词汇；