[发明专利]基于信息熵特征权重量化的海量短文本分布式KNN分类算法及系统

权利要求书

1.基于信息熵特征权重量化的海量短文本分布式KNN分类方法，其特征在于，包括下述步骤：

S1、通过信息熵指标衡量特征在数据集中的分布确定性，将确定性高的特征赋予高权重，反之赋予低权重，得到反映类分布的权重量化方法；

面向类分布均匀数据、基于熵的特征权重量化子方法的具体步骤为：

S111、初始化特征——类别分布矩阵，统计每个特征t在各个类c_i中出现词频f(t,c_i)；

S112、计算每个类别c_i的词频总数f(c_i)＝∑_tf(t,c_i)；

S113、计算特征在训练数据集中的熵值:

Entropy(t)=Σi=0np(t,ci)log(p(t,ci))]]>

其中p(t,c_i)＝f(t,c_i)/f(c_i)，n为类别的总数目；

S114、采用逻辑斯蒂方程计算特征的分类贡献度：

weight(t)=11+eentropy(t)-threshold]]>

其中，threshold是归一化阈值；

面向非均匀类分布数据、基于平衡熵的特征权重量化子方法，考虑到类之间文档数量的不平衡性，在一个样本数极少的类中出现一次和在一个样本数较多的类中出现一次应该给予不同的权重，包括以下步骤：

S121、初始化特征-类别分布矩阵，统计每个特征t在各个类c_i中出现词频f(t,c_i)；

S122、计算每个类别c_i的词频总数f(c_i)＝∑_tf(t,c_i)；

S123、计算特征-类别词频与类别总词频的相对比例：

f′(t,c_i)＝f(t,c_i)/f(c_i)；

S124、计算特征在训练数据集中的熵值:

Entropy(t)=Σi=0np(t,ci)log(p(t,ci))]]>

其中，n为类别的总数目；

S125、采用逻辑斯蒂方程计算特征的分类贡献度：

weight(t)=11+eentropy(t)-threshold]]>

其中，threshold是归一化阈值；

S2、基于Hadoop分布式计算平台，采用MapReduce计算框架进行设计的，分为两轮MapReduce操作组合；

在第一轮Map操作中，训练集被平均拆分为多个子训练集并分配到进行运算的节点上，每一个待分类的测试数据同时在不同节点上，分别与该节点中的子训练集进行相似度计算；在第一轮Reduce操作中，在各个节点中对Map计算得到的相似度进行排序，获得每个节点上与测试样本数据的局部最相似的k个训练集样本；

在第二轮Map操作中，将每个节点中的局部最相似的k个训练集样本的相似度和类别进行统计，在第二轮Reduce操作中，各个训练集样本以相似度进行投票，选出相似度最大的类别作为测试样本数据的预测类别；其中第二轮MapReduce操作组可以根据集群节点数目酌情变换成多轮MapReduce操作组合。

2.根据权利要求1所述的基于信息熵特征权重量化的海量短文本分布式KNN分类方法，其特征在于，步骤S2具体为：

S21、将训练数据集划分成n个子集，其中n为Hadoop平台中负责运算的从属节点个数；

S22、每个从属节点在读入训练数据子集时，建立一个特征与包含该特征的文档之间的索引，表示为：<t_i：q_i,…,q_k>，其中t_i是特征，q_i为包含t_i的文档，该索引用来快速查找包含某个特征的文档集合，另外，建立一个文档向量模的缓存单元；

S23、对于一个待分类的测试文档数据q，同时分派给每个从属节点，在每个节点中，首先初始化A[1]-A[k]作为q的初始近邻，A[1]-A[k]按q与A[i]的相似度similarity(q,A[i])降序排序，然后通过查找索引找出包含q中特征的所有训练集文档<q_i,…,q_k>作为候选邻居集合，依次计算q与每个候选邻居q_i的余弦相似度，q与q_i的相似度的计算公式为：在计算相似度时，查找缓存单元中是否包含带计算文档q_i向量的模值||q_i||，若存在，将模值取出进行计算；若不存在，首先计算该文档向量的模值，然后加入缓存单元，将得到的similarity(q,q_i)与similarity(q,A[i])比较，其中i∈[1,k],找出第一个similarity(q,A[i])<similarity(q,q_i)的A[i]，若i∈[1,k],则将A[j+1]＝A[j],其中j∈[i,k]，并令A[i]＝q_i；否则，继续与下一个候选邻居进行相似性计算，最终，A[1]-A[k]即为每个节点中与q局部最相似的k个邻居；

S24、将每个节点中的局部最相似的k个邻居采用多路归并排序算法进行排序找出全局最相似的k个邻居，将该k个邻居以相似度进行预测类别投票，取出相似度最大的类别作为q的预测类别。