[发明专利]一种数据分类的方法及装置

权利要求书

1.一种数据分类的方法，其特征在于，所述方法包括：

对数据进行分词、去停顿词的处理；

对处理后的数据做词频统计，将所述处理后的数据中的词按照词频由大到小排序，根据预先设置的常用词的取词范围，在所述取词范围中选取常用词生成常用词表；

将所述处理后的数据进行分类，分类后的所述处理后的数据所属的类别之间的关系是不冲突或者冲突；

预先定义冲突处理规则，当同一处理后的数据所属的类别之间的关系有冲突时，根据所述冲突处理规则得到有效数据，使得所述有效数据所属的类别不冲突；

根据所述常用词表，筛选所述有效数据得到搭配词表，所述搭配词表包括常用词和常用词组合；当所述常用词表中的同一个词出现多次时，仅按照一次处理；

统计每一分类中的有效数据中出现所述搭配词表中常用词或者常用词组合的次数；

根据所述常用词或者常用词组合在每一分类中的次数和所有分类中的次数，对每一分类中的常用词或者常用词组合进行归一化，形成概率矩阵；

根据所述概率矩阵对数据进行分类。

2.根据权利要求1所述的方法，其特征在于，所述预先定义冲突处理规则，包括：

当对所述处理后的数据进行分类后，所述处理后的数据同时属于A类和B类，当A类和B类不冲突时，则标识所述处理后的数据不冲突，所述处理后的数据同时属于A类和B类；

当A类和B类互相冲突时，则标识所述处理后的数据不冲突，所述处理后的数据属于A类；

或者当A类和B类互相冲突时，则标识所述处理后的数据不冲突，所述处理后的数据属于B类；

当A类和B类互相冲突时，且没有冲突处理规则解决所述A类和B类的冲突时，则标识所述处理后的数据冲突。

3.根据权利要求2所述的方法，其特征在于，所述根据所述冲突处理规则得到有效数据，包括：

当对所述处理后的数据进行分类后，所述处理后的数据属于某一个分类时，则标识所述处理后的数据不冲突，所述处理后的数据属于所述某一个分类；

当所述处理后的数据同时属于两个冲突的分类时，则根据所述冲突处理规则，得到有效数据；

当所述处理后的数据同时属于两个以上的分类时，则根据所述冲突处理规则化简所述两个以上的分类集合；

对化简后的分类集合，根据所述冲突处理规则中当A类和B类相互冲突时，且没有冲突处理规则解决A类和B类的冲突时，标识所述处理后的数据为冲突。

4.根据权利要求3所述的方法，其特征在于，所述根据所述冲突处理规则化简所述两个以上的分类集合，包括：

当所述两个以上的分类集合中A类和B类不冲突时，将A类和B类化简为同一类；

当所述两个以上的分类集合中A类和B类互相冲突时以A类为准，将A类和B类化简为A类；

当所述两个以上的分类集合中A类和B类互相冲突时以B类为准，将A类和B类化简为B类。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述根据所述常用词表，筛选所述有效数据得到搭配词表，包括：

根据所述常用词表，筛选所述有效数据得到所述常用词表中的词，当所述常用词表中的同一个词出现多次时，仅按照一次处理，当筛选后的词少于等于3时，得到所述有效数据的常用词组合，所述常用词组合中对有效数据中的词的顺序不做限制；

对所有有效数据做筛选后，将所述筛选后的词和所述常用词组合形成搭配词表。

6.根据权利要求5所述的方法，其特征在于，所述统计每一分类中的有效数据中出现所述搭配词表中常用词或者常用词组合的次数，包括：

统计每一分类中的所有有效数据中出现所述搭配词表中常用词或者常用词组合的次数；

统计所有分类中的所有有效数据中出现所述搭配词表中常用词或者常用词组合的次数。

7.根据权利要求6所述的方法，其特征在于，所述根据所述常用词或者常用词组合在每一分类中的次数和所有分类中的次数，对每一分类中的常用词或者常用词组合进行归一化，形成概率矩阵，包括：

将所有分类作为列，将所述搭配词表中常用词或者常用词组合在每一列下出现的次数作为行，形成矩阵；

根据所述矩阵，将所述矩阵中每一行在每一列的次数除以所述每一行在所有列的总次数，得到每一行在每一列的概率，形成概率矩阵。