[发明专利]一种数据分类的方法及装置

说明书

技术领域

本发明涉及数据分析处理领域，尤其涉及到一种数据分类的方法及装置。

背景技术

实际工作中很多记录都是由人工记录的，属于超短文本，其中很多记录可能会出现描述前后不一致的情况。比如，在同一超短文本中，某些字段中写的故障原因是焊接，但是在某些字段又说明是雷击造成故障。如果在这种数据质量不好的情况下进行数据挖掘，会大大降低分析的准确度，所以有必要对数据进行预处理，对数据按照故障原因分为几类，通过分类方法解决问题。

IFIDF分类方法的主要思想是如果某个词或者短语在同一超短文本中出现的频率IF高，并且在其他超短文本中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。IFIDF实际是IF*IDF，IF是词频（Term Frequency），IDF是反文档频率（Inverse Document Frequency），IF表示词条在超短文本中出现的频率，IDF表示词条在本超短文本和其他超短文本的对比结果，当词条在本超短文本出现频率越高，但在其他超短文本出现频率越低时，说明所述词条具有很好的类别区分能力，则所述词条在本超短文本的IDF值越大。IFIDF分类方法的缺点是没有考虑分类和分类之间的关系；分类与分类之间存在交集，对于交集的超短文本没有做特别的处理；超短文本命中的准确率较低；只体现一个词和分类的关系，没有体现多个词搭配出现时和分类的关系。

N元文法分类方法的主要思路是词条的概率是由一组特定的词构成的序列决定的，称为所述词条的历史（history）。N元文法是大词汇连续出现时常用的一种语言模型，该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其他任何词都不相关，整句的概率就是各个词出现的概率的乘积，而这些概率可以通过直接从语料中统计N个词同时出现的次数得到，常用的是二元文法和三元文法。N元文法的缺点是当由4个以上的词构成序列的情况下，超短文本中数据稀疏非常严重，基本上N元文法没办法使用；同时，序列需要重新训练语言模型，由人工标注，工作量比较大。

发明内容

本发明提供了一种数据分类的方法及装置，所述方法旨在解决分类时数据冲突及数据稀疏的问题。

第一方面，一种数据分类的方法，所述方法包括：

对数据进行分词、去停顿词的处理；

对处理后的数据做词频统计，将所述处理后的数据中的词按照词频由大到小排序，根据预先设置的常用词的取词范围，在所述取词范围中选取常用词生成常用词表；

将所述处理后的数据进行分类，分类后的所述处理后的数据所属的类别之间的关系是不冲突或者冲突；

预先定义冲突处理规则，当同一处理后的数据所属的类别之间的关系有冲突时，根据所述冲突处理规则得到有效数据，使得所述有效数据所属的类别不冲突；

根据所述常用词表，筛选所述有效数据得到搭配词表，所述搭配词表包括常用词和常用词组合；

统计每一分类中的有效数据中出现所述搭配词表中常用词或者常用词组合的次数；

根据所述常用词或者常用词组合在每一分类中的次数和所有分类中的次数，对每一分类中的常用词或者常用词组合进行归一化，形成概率矩阵；

根据所述概率矩阵对数据进行分类。

结合第一方面，在第一方面的第一种可能的实现方式中，所述预先定义冲突处理规则，包括：

当对所述处理后的数据进行分类后，所述处理后的数据同时属于A类和B类时，当A类和B类不冲突时，则标识所述处理后的数据不冲突，所述处理后的数据同时属于A类和B类；

当A类和B类互相冲突时，则标识所述处理后的数据不冲突，所述处理后的数据属于A类；

或者当A类和B类互相冲突时，则标识所述处理后的数据不冲突，所述处理后的数据属于B类；

当A类和B类互相冲突时，且没有冲突处理规则解决所述A类和B类的冲突时，则标识所述处理后的数据冲突。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述冲突处理规则得到有效数据，包括：

当对所述处理后的数据进行分类后，所述处理后的数据属于某一个分类时，则标识所述处理后的数据不冲突，所述处理后的数据属于所述某一个分类；

当所述处理后的数据同时属于两个冲突的分类时，则根据所述冲突处理规则，得到有效数据；

当所述处理后的数据同时属于两个以上的分类时，则根据所述冲突处理规则化简所述两个以上的分类集合；