[发明专利]一种针对政府服务热线领域的工单自动分类方法

说明书

本发明公开了一种针对政府服务热线领域的工单自动分类方法，包括以下步骤：步骤(1)：数据清洗和预处理；步骤(2)：计算历史全量工单；步骤(3)：训练词向量模型；步骤(4)：对热频词进行聚类；步骤(5)：干预聚类结果；步骤(6)：工单打标签分类；步骤(7)：模型增量训练。利用本发明提出的工单自动分类方法，会根据工单的内容，对每条工单打上多个标签。同时，还可以根据所打上的标签，对工单进行分类。一方面，可以帮助政府工作人员，了解某段时间或某个地区的市民关注热点。另一方面，在得到每条工单的分类标签后，还可以在此基础上进行更深入的数据挖掘。

技术领域

本发明主要涉及机器学习和自然语言处理等技术领域，特别地针对政府服务热线领域，提供了一种针对政府服务热线领域的工单自动分类方法。

背景技术

近年来，随着大数据技术和人工智能的快速发展，机器学习和自然语言处理技术已经被广泛应用于各个领域。政府服务热线领域的工单，包含群众向政府进行咨询、投诉、建议、举报等诸多方面问题，由于其涵盖方面广泛，很难通过人工对工单进行分类，给政府开展更深层次的工作带来了较大的困难。

发明内容

本发明的目的在于提供一种针对政府服务热线领域的工单自动分类方法，主要使用TF-IDF(term frequency–inverse document frequency)、Word2vec、等自然语言处理和机器学习方面的技术方法对大量工单进行训练后，计算得到一个近似词分类字典表。在对算法计算出的近似词分类字典表进行人工干预后，使用该字典表给工单进行打标签，根据打标结果对工单进行分类。

为实现上述目的，本发明提供如下技术方案：一种针对政府服务热线领域的工单自动分类方法包括以下步骤：步骤(1)：数据清洗和预处理，对政府服务热线领域的工单，主要是工单反映内容，进行数据清洗和预处理；

步骤(2)：计算历史全量工单热频词；使用TF-IDF计算热频词；

步骤(3)：训练词向量模型，使用Word2vec对全量工单进行训练，得到词向量模型；

步骤(4)：对热频词进行聚类，根据热频词和其相应的词向量，使用对其进行聚类；

步骤(5)：干预聚类结果，工作人员对算法得到的聚类结果进行调整，得到用来给工单进行打标分类的近似词分类字典表；

步骤(6)：工单打标签分类，利用步骤(5)得到的近似词分类字典表，根据工单反映内容进行映射，给工单打标签和分类；

步骤(7)：模型增量训练，对增量数据，增量训练模型，并以增量的方式将新增热频词添加到近似词分类字典表中。

优选的，所述的步骤(1)中对政府服务热线领域的大量工单进行数据的清洗及预处理，清洗后的工单总量为N，该步主要为停用词过滤和工单反映内容的正则过滤，停用词库包含网上开源的中文停用词库，具体业务场景下建立的停用词库两部分；对于工单反映内容的正则过滤，通过正则，把特定形式的词或短句过滤。

优选的，所述的步骤(2)主要是使用TF-IDF，对历史全量工单计算热频词，详细步骤如下：

步骤(2.1)：首先，设定计算热频词相关参数，包括热频词最大数、热频词的词性列表，以及使用TF-IDF计算热频词时的最小词频参数，热频词的最大数可以根据输入的工单量给出，并根据最后算法的聚类结果进行调整；热频词的词性，根据业务场景来设定，设定热频词词性包含：名词、专用词、团体机构词、名词性惯用语、动词、简称略词；