[发明专利]一种用于大数据的并行半定义分类方法与系统

摘要

本发明提出一种用于大数据的并行半定义分类方法与系统，涉及互联网行业技术领域，该方法包括串行步骤，获取文档的类别变量z、主题变量y、文档上类别的分布θ、类别上主题的分布π、主题上词的分布φ，结合先验参数α、β、δ，对类别变量z与主题变量y进行迭代采样，直到类别变量z与主题变量y收敛到平稳分布，对主题上词的分布φ、类别上主题的分布π、主题上词的分布φ进行估计，选择主题上词的分布φ中概率最高的一个类别作为文档的类标，并根据类标进行文档分类。本发明解决了海量数据下，传统分类或者半监督聚类难以解决的半定义分类问题。

主权项

一种用于大数据的并行半定义分类方法，其特征在于，包括串行步骤，获取文档的类别变量z、主题变量y、文档上类别的分布θ、类别上主题的分布π、主题上词的分布φ，结合先验参数α、β、δ，对类别变量z与主题变量y进行迭代采样，直到类别变量z与主题变量y收敛到平稳分布，对主题上词的分布φ、类别上主题的分布π、主题上词的分布φ进行估计，选择主题上词的分布φ中概率最高的一个类别作为文档的类标，并根据类标进行文档分类。