[发明专利]基于文本主题模型的商品分类的数据处理方法

权利要求书

1.一种基于文本主题模型的商品分类的数据处理方法，其特征在于：包括：

步骤10、对分词系统的通用词库中导入业务相关的中英文词汇，并针对品牌及常见商品英文，导入业务相关的白名英文单词；同时，进一步扩充分词系统的停用词词库；

步骤20、基于上一个步骤提供的分词系统，对商品的描述文字部分进行分词，继而使每个商品拥有一个顺序无关的词袋；

步骤30、根据对分词结果进行统计后，得到频率较高的非常用词汇，以此构建一优先词库；并指定总体分类数量并设置相关参数，执行快速Gibbs抽样，并获得潜在语义关联，分别与所述优先词库、通用词库以及停用词词库比较，再对比较结果进行计算，得出商品最可能的分类并利用词袋对分类进行标识。

2.根据权利要求1所述的基于文本主题模型的商品分类的数据处理方法，其特征在于：所述步骤20之前，还包括

步骤10’、先人工将商品简单地分进具有明显差异的大类；

且所述步骤10’与步骤10无先后顺序之分。

3.根据权利要求1所述的基于文本主题模型的商品分类的数据处理方法，其特征在于：

所述步骤30中是根据TF-IDF算法过滤出对商品描述贡献较大的关键词，并统计得到频率较高的非常用词汇，以此构建一优先词库，其中，所述TF-IDF算法是先采用通用词典进行分词，然后统计每件商品文本描述中每个词的出现次数以及每个词在所有商品中出现的次数，然后通过TF-IDF公式计算出每件商品中每个词的权重，根据阈值保留高权重的词放入优先词库，式中，tf_ij表示文档i中词汇j出现的频率，n_ij表示j在文档i中出现的次数，分母则是文档j中所有字词出现的次数之和；

再用逆向文档频率idf_i计算一个词普遍重要性的度量，计算式为：

idfi=log|D||{d:d∋ti|,]]>

其中，|D|是文档总数，分母是包含词t_i的文档数目；

tfidf_ij权值w_ij计算公式为：

w_ij＝tf_i，j*idf_j，

该权值即为词j在文档i中的TF-IDF值，该值表明了词j能够在多大程度上反映文档i的内容。

4.根据权利要求1所述的基于文本主题模型的商品分类的数据处理方法，其特征在于：还包括

步骤40、对商品的描述进行分析，分析时假设所有商品的描述是一个LDA主题模型，LDA主题模型是一个三层贝叶斯概率模型，包含词、主题和文档三层结构，文档到主题服从Dirichlet分布，主题到词服从多项式分布，LDA模型对每一个商品描述的文档，从主题分布中抽取一个主题赋予给一个商品，并从上述被抽到的主题所对应的词的分布中抽取一个词，重复上述过程直至遍历商品文档中的每一个词，由此得出的计算结果是，可以对每件商品赋予相关度最高的A个主题，A为可变阈值，同时可得出每个主题中各关键字对主题的贡献度，抽取对商品主题贡献度最高的10个关键词作为商品的主要属性，并以此计算各商品之间的相似度。