[发明专利]数据主题获取方法及装置

权利要求书

1.一种数据主题获取方法，其特征在于，包括步骤：

接收输入的待处理数据，所述待处理数据包括多个子数据，每个子数据包括多个词；

将所述待处理数据分组生成多个组别，分组后的各个组别中词的数量相近；

按照吉布斯Gibbs采样公式对各个组别中的每个词进行多次采样，每次采样得到第一预设次数的采样数据，依次选择每次采样得到的采样数据进行迭代计算；

在对每个词的迭代计算的次数达到第二预设次数后，根据迭代结果生成每个词对应的主题；

根据得到的每个词的主题，计算生成每个子数据的主题；

其中，所述按照吉布斯Gibbs采样公式对各个组别中的每个词进行多次采样，每次采样得到第一预设次数的采样数据；依次选择每次得到的采样数据进行迭代计算的步骤包括：

采用Metropolis Hasting算法构建概率转移矩阵，并确定所述概率转移矩阵当前的概率分布；

将所述当前的概率分布作为转移概率分布，建立别名表Alias Table，根据所述AliasTable对每个词进行多次采样，每次采样得到第一预设次数的采样数据并生成采样集合；

依次选择每次生成的采样集合中的采样数据进行迭代计算。

2.如权利要求1所述的数据主题获取方法，其特征在于，所述依次选择每次生成的采样集合中的采样数据进行迭代计算的步骤包括：

判断当前待进行迭代计算的采样集合中是否存在未被选择的采样数据；

若所述采样集合中不存在未被选择的采样数据时，按照上述方式生成新的采样集合，依次选择选择新的采样集合中的采样数据进行迭代计算；

若所述采样集合中存在未被选择的采样数据时，依次选择采样集合中的未被选择的采样数据进行迭代计算。

3.如权利要求1所述的数据主题获取方法，其特征在于，所述依次选择每次得到的采样数据进行迭代计算的步骤包括：

从采样集合中选择一个采样数据，其主题为j，概率为Q_j；

若当前主题为i，根据Metropolis Hasting算法，随机出一个概率值s，将所述概率s与接受概率比较；

若所述概率s大于接受概率，则主题从i转移到j，将主题j作为新的当前主题，完成一次迭代计算；

若所述概率s不大于接受概率，则主题保持为i，将主题i作为新的当前主题，完成一次迭代计算；

依次选择采样集合中的采样数据完成迭代计算。

4.如权利要求1所述的数据主题获取方法，其特征在于，所述根据得到的每个词的主题，计算生成每个子数据的主题的步骤之后，还包括：

获取同一个子数据中相同的词；

按照相同的Alias Table完成相同词的迭代计算，并根据迭代结果分别生成各个相同词对应的主题。

5.如权利要求1至4任一项所述的数据主题获取方法，其特征在于，所述根据得到的每个词的主题，计算生成每个子数据的主题的步骤之后，还包括：

获取不同子数据中相同的词，并获取所述Gibbs采样公式中相同的因子；

根据相同的因子构建不同子数据中相同词的Gibbs采样公式，并根据构建的Gibbs采样公式完成对应词的迭代计算，根据迭代结果生成各个相同词在对应子数据中的主题。