[发明专利]一种数据分类的方法及装置

摘要

本发明实施例公开了一种数据分类的方法及装置，所述方法通过预先定义分类的冲突处理规则，解决分类中有冲突的数据，得到有效数据，从而得到无歧义、无冲突的数据；并使用常用词表，筛选有效数据得到搭配词表，根据所述搭配词表形成概率矩阵，从而避免出现数据稀疏的情况。

主权项

一种数据分类的方法，其特征在于，所述方法包括：对数据进行分词、去停顿词的处理；对处理后的数据做词频统计，将所述处理后的数据中的词按照词频由大到小排序，根据预先设置的常用词的取词范围，在所述取词范围中选取常用词生成常用词表；将所述处理后的数据进行分类，分类后的所述处理后的数据所属的类别之间的关系是不冲突或者冲突；预先定义冲突处理规则，当同一处理后的数据所属的类别之间的关系有冲突时，根据所述冲突处理规则得到有效数据，使得所述有效数据所属的类别不冲突；根据所述常用词表，筛选所述有效数据得到搭配词表，所述搭配词表包括常用词和常用词组合；当所述常用词表中的同一个词出现多次时，仅按照一次处理；统计每一分类中的有效数据中出现所述搭配词表中常用词或者常用词组合的次数；根据所述常用词或者常用词组合在每一分类中的次数和所有分类中的次数，对每一分类中的常用词或者常用词组合进行归一化，形成概率矩阵；根据所述概率矩阵对数据进行分类。