[发明专利]一种大数据分类处理方法

摘要

本发明公开了一种大数据分类处理方法，它包括学习训练和分类两个步骤，该方法对大数据进行分类，经过分类处理后，用户直接以分类信息管理和使用数据，获取系统智能推荐的相关内容等，能够进行智能学习，分类越积累，分类越准确，推荐相关内容也更准确。

主权项

一种大数据分类处理方法，其特征在于，它包括学习训练和分类两个步骤；所述的学习训练包括如下子步骤：S11：收集已经分类好的文章，形成语料库；S12：通过庖丁分词将语料库的文章分解成一个一个的词语；S13：去掉停用词和中性词；S14：对去掉停用词和中性词后的词汇进行TF‑IDF矢量化；S15：概率统计：根据每一个词汇的TF‑IDF值，筛选出用于分类的词汇；S16：根据以上处理，再根据精度需要，得到一组用于进行分类的常用词汇；S17：将用于分类的词语形成标准的ARFF数据；S18：根据ARFF数据采用不同算法计算出用于分类的模型数据；所述的分类包括如下子步骤：S21：提交分类任务；S22：获取需要分类的信息；S23：庖丁分词，对需要分类的信息进行分词；S24：去掉需要分类的信息中的停用词和中性词，得到用于分类的基本词汇；S25：进行常用词筛选，得到最终需要用于分类的词语；S26：对用于分类的词语进行TF‑IDF计算，形成分类用ARFF数据；S27：用学习训练得到的模型数据结合ARFF数据，计算出分到每一类的概率，并进行加权计算，得到分类结果。