[发明专利]一种海量微博数据的分布式分类装置及方法

权利要求书

1.一种海量微博数据的分布式分类方法，采用海量微博数据的分布式分类装置实现，该 装置采用分布式结构，包括一台主控制机和至少一台从控制机，且每个从控制机均与主控制 机互联，主控制机和每个从控制机相互通信，所有从控制机间相互独立；

所述的从控制机包括：

向量器：用于将从控制机中带有分类结果的每条微博训练数据转换成向量表示的形式， 其中包括每条微博数据的数据部分的特征向量x_i和分类结果部分t_i；

剥离器：用于剥离向量器处理后的微博数据训练集中的所有微博数据的特征向量矩阵X_i和分类结果矩阵T_i；

转换器：利用极限学习机ELM的原理，用于将剥离器抽取的特征向量矩阵X_i转换成ELM 中的隐层输出矩阵H_i；

前项计算器：利用极限学习机ELM的原理，用于根据隐层输出矩阵H_i，计算中间结果 H_i^TH_i，并提交给主控制机；

后项计算器：利用极限学习机ELM的原理，用于根据隐层输出矩阵H_i和微博数据集中 分类结果矩阵T_i，计算中间结果H_i^TT_i，并提交给主控制机；

所述的主控制机包括：

前项累加器：用于合并各个从控制机提交的中间结果H_i^TH_i，得到汇总结果H^TH；

后项累加器：用于合并各个从控制机提交的中间结果H_i^TT_i，得到汇总结果H^TT；

参数生成器：利用极限学习机ELM的原理，用于根据汇总的前项累加器和后项累加器输 出的结果，计算输出节点的权重向量参数β；

分类生成器：根据参数生成器得到的参数β构建微博数据的分类装置，用于对待测试的 微博数据进行分类；

所述的每个从控制机是将自身处理的、用于生成最终微博数据分类器的中间结果发送给 主控制机，主控制机接收所有从控制机发送来的中间结果后，根据ELM的原理，得到最终的 微博数据分类器；

其特征在于：包括以下步骤：

步骤1：微博训练数据集的准备；

微博训练数据集的准备包括对抓取原始的微博数据和人工对微博数据进行标注两个部 分；采用如下两种方式：第一种方式是由主控制机抓取所需处理的原始微博数据，并为每一 条训练数据进行人工标注，表示这些微博数据的分类结果，然后将这些微博数据分配到相应 的从控制机；第二种方式是由主控制机与每个从控制机通信，通知每个从控制机需要抓取的 微博数据的信息，每个从控制机自身抓取原始微博数据，并为自身抓取的原始微博数据进行 人工标注，表示这些微博数据的分类结果；

步骤2：主控制机将所需参数初始化，并发送给所有的从控制机；

利用极限学习机ELM的原理，由主控制机预先随机生成参数，包括：隐层节点个数L、 输入节点的权重向量w₁,w₂,...,w_L、隐层节点的偏移量b₁,b₂,...,b_L，并将这些参数发送到所有的 从控制机；

步骤3：每个从控制机对各自的局部微博数据集进行处理，并将处理结果发送给主控制 机，由主控制机生成微博数据分类器；

步骤3-1：微博数据向量化；

将带有分类结果部分的每条微博训练数据进行向量化，其中包括每条微博数据的数据部 分的特征向量x_i和分类结果部分t_i；

步骤3-2：微博数据的剥离；

对于每个从控制机微博数据训练集中的经过特征提取的微博数据集，剥离这些数据的特 征向量部分和分类结果部分，形成每个从控制机的微博数据训练集的特征向量矩阵X_i和分类 结果矩阵T_i，即使得每个从控制机均生成各自的局部微博数据集(X_i,T_i)，其中，X_i为微博数 据集的特征矩阵，T_i为微博数据集的分类结果矩阵；

步骤3-3：每个从控制机根据各自的局部微博数据集生成中间结果，并发送给主控制机；

具体如下：

每个从控制机n_i根据接收的输入节点的权重向量w₁,w₂,...,w_L和第i个隐层节点的阈 值b₁,b₂,...,b_L，以及局部微博训练数据集(X_i,T_i)，计算构建分类器所需的中间结果，并将中 间结果提交给主控制机；

步骤3-3-1：将局部微博数据集的特征矩阵X_i转化为ELM的隐层输出矩阵H_i；

步骤3-3-2：根据隐层输出矩阵H_i，计算中间结果U_i＝H_i^TH_i；

步骤3-3-3：根据隐层输出矩阵H_i和局部训练数据集的分类结果矩阵T_i，计算中间结果 V_i＝H_i^T T_i；

步骤3-4：主控制机接收并汇总各个从控制机的中间结果；根据汇总的中间结果按照ELM 的计算原理，计算输出节点的权重向量参数β，进而求得微博数据分类器；所述的计算输出 节点的权重向量参数β，具体如下：

步骤3-4-1：合并各个从控制机提交的中间结果U_i，得到汇总结果U＝∑U_i＝∑H_i^TH_i＝H^TH；

步骤3-4-2：合并各个从控制机提交的中间结果V_i，得到汇总结果V＝∑V_i＝∑H_i^TT_i＝H^TT；

步骤3-4-3：根据汇总的U和V计算输出节点的权重向量参数β：

β=(Iλ+HTH)-1HTT=(Iλ+U)-1V]]>

其中，I是单位阵，λ是用户指定的参数，(·)^-1是矩阵求逆运算；

进而确定微博数据分类器的公式如下：

f(x)＝h(x)β

式中，f(x)表示待分类微博数据的分类结果，h(x)表示待分类微博数据的隐层输出向量；

步骤4：微博数据的自动分类；

微博数据的自动分类可以采取两种方式：第一种方式为主控制机继续抓取微博数据，运 用步骤3生成的微博数据分类器直接输出待分类的微博数据的分类结果，第二种为主控制机 将步骤3生成的微博数据分类器发送给各个从控制机，然后各个从控制机运用分类器对自身 的待分类的微博数据进行分类，求得分类结果。