[发明专利]一种分类分级清单智能打标方法

说明书

本发明公开了一种分类分级清单智能打标方法，涉及通信技术领域，解决了目前在大数据量级下，数据清单打标耗时费力，同时打标质量不高的技术问题。本技术方案通过不同数据库读取表和字段信息，统一文本行格式后进行预处理和中英文分词和英文翻译操作，基于文本行的内容多样性和复杂性，先做文本粗分类，得到总体结果尚可的打过标的文本行，再基于fastText模型训练和短文本分类。本发明短文本分类中兼具高速和高质量的模型，对文本行进行训练和测试得到文本行的合理的打标结果，智能打标，省时省力。

技术领域

本发明涉及通信技术领域，具体涉及一种分类分级清单智能打标方法。

背景技术

短文本分类在舆情分类，新闻分类等场景中已有广泛应用；而在数据安全领域中，数据清单的分类分级在实施中遇到巨大瓶颈；数据清单通常由存储模式各异数据库，命名形式不同的表和字段信息组成，数量级在几万至几百万不等；面对如此量级的表和字段信息，对其进行打标分类成为阻碍，对打标人员的数量和专业程度提出了挑战，同时这将耗费数天至数月时间；与此同时，打标的质量也会成为重要问题。

发明内容

本发明的目的是提供一种分类分级清单智能打标方法，通过短文本分词、提取短文本的关键词、得到向量化短文本、短文本聚类、短文本分类进行分类分级，智能合理打标，省时省力，提升打标质量。

为了实现上述目的，本发明提供如下技术方案：一种分类分级清单智能打标方法，步骤如下：

S1.读取不同数据库的表和字段信息，处理为格式统一的文本行，其中，文本行的内容包括字段名称，字段注释，表名称和表注释；同时读取所有标签；对文本行作预处理，包括去停用词和标点符号；再对文本行作中、英文分词，对标签作中文分词；其中，分词后的英文通过英译中的词库翻译为对应的中文；此时，得到分词的文本行，记TEXT，根据文本行的内容分为字段信息和表信息，分别记TEXT_FIELD和TEXT_TABLE；分词的标签根据是否是具体字段分为标签和背景标签，分别记LABEL和LABEL_BG；并假设标签的数量为CLASS_NUM；至此，文本行和标签均已分词；

S2.文本-标签匹配；遍历TEXT，对每条TEXT的TEXT_FIELD，遍历LABEL，记录文本字段信息和标签匹配的词的个数，得到长度为CLASS_NUM的列表；记列表中的最大值为MATCH_MAX；根据MATCH_MAX是否唯一，分为以下2种情形：

S2.1.MATCH_MAX唯一，TEXT粗分类的标签为MATCH_MAX对应的标签；

S2.2.MATCH_MAX不唯一，获取匹配数为MATCH_MAX的所有标签，记MATCH_MAX_LABEL，标签的数量记MATCH_MAX_LABEL_NUM，对TEXT的TEXT_TABLE，遍历MATCH_MAX_LABEL中的TEXT_TABLE，记录文本表信息和背景标签匹配的词的个数，得到长度为MATCH_MAX_LABEL_NUM的列表；记列表中的最大值为MATCH_TABLE_MAX；根据MATCH_TABLE_MAX是否唯一，也分为以下2种情形：

S2.2.1.MATCH_TABLE_MAX唯一，TEXT粗分类的标签为MATCH_TABLE_MAX对应的标签；

S2.2.2.MATCH_TABLE_MAX不唯一，获取S2.2中匹配数为MATCH_TABLE_MAX的所有标签，记MATCH_TABLE_MAX_LABEL，对TEXT的TEXT_FIELD，遍历MATCH_TABLE_MAX_LABEL的LABEL，记录“字段匹配的字数”和“匹配字数占LABEL总字数的比例”，分别记MATCH_CHAR和MATCH_CHAR_RATIO，记录MATCH_CHAR+MATCH_CHAR_RATIO的值，记为匹配值MATCH_VALUE，得到匹配值的列表，选择最高匹配值对应的标签作为粗分类的标签；至此，我们按照字段信息匹配数，表信息匹配数和匹配字数的优先级，完成了对大部分文本行的粗分类；