[发明专利]基于特征加权的朴素贝叶斯微博用户分类方法在审
申请号: | 201810443273.1 | 申请日: | 2018-05-10 |
公开(公告)号: | CN108596276A | 公开(公告)日: | 2018-09-28 |
发明(设计)人: | 黄梅根;周理含;王渝 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 重庆市恒信知识产权代理有限公司 50102 | 代理人: | 刘小红;陈栋梁 |
地址: | 400065 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 微博 用户分类 贝叶斯 矩阵 训练数据集 分类结果 后验概率 目标优化 信息增益 加权 测试数据集 离散化处理 测试数据 计算信息 条件概率 先验概率 用户数据 弱化 分类 | ||
1.一种基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,包括以下步骤:
步骤1:获取微博用户信息,组建数据列表;
步骤2:对步骤1中得到的微博用户信息数据进行离散化处理,得到数据集;
步骤3:将数据集分为训练数据集和测试数据集;
步骤4:对于训练数据集,计算微博用户所属类别的先验概率,以及各个特征的条件概率和信息增益;
步骤5:采用改进朴素贝叶斯分类算法,改进点主要在于,通过计算各个特征的信息增益,获知各个特征对于分类结果的重要性,构建目标优化矩阵,根据各个特征信息的增益排名,确定每个特征的权值;
步骤6:计算测试数据的后验概率,并将最大后验概率对应的类作为分类结果。
2.根据权利要求1所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述步骤1:获取微博用户信息,组建数据列表,具体包括:
步骤1.1:关注目标用户包括正常用户和恶意用户的微博;
步骤1.2:记录这些目标用户的基本特征信息,包括:粉丝数,关注数,微博数,微博年龄,认证情况,阳光信用等级,用一个特征向量表示一个用户,构建数据集。
3.根据权利要求1或2所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述步骤2对数据集采用分组法进行离散化处理,所述分组法的步骤包括:将每个特征的取值范围分为三个小段,每个小段分别用0,1,2表示。
4.根据权利要求1或2所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述步骤3将数据集分为训练数据集和测试数据集,具体包括:将数据集随机打乱,分成十份,选取其中九份作为训练数据集,剩下一份作为测试数据集。
5.根据权利要求4所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述步骤4对于训练数据集,计算微博用户所属类别的先验概率,以及各个特征的条件概率和信息增益;包括:
分别计算正常用户和恶意用户两种类别的先验概率P(Y1)和P(Y2),计算公式如下:
其中Y1代表正常用户,Y2代表恶意用户,N代表整个训练数据集样本的数量,NY1代表训练数据集中正常用户样本的数量,代表训练数据集中恶意用户样本的数量;
步骤4.2:分别计算对于两种不同类别的各个特征的条件概率P(X(i)|Y1)和P(X(i)|Y2),其中X(i)表示特征向量X中的第i个特征;
步骤4.3:分别计算各个特征的信息增益;
信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度,特征A对训练数据集D的信息增益g(D,A),定义为集合D的经验熵H(D)与特征A在给定条件D的经验条件熵H(D|A)之差,即
g(D,A)=H(D)-H(D|A)
信息增益反映出了特征对分类结果的重要性程度。
6.根据权利要求5所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述步骤5的目标优化矩阵构建的过程如下:
首先,将特征向量包含的特征依次填入矩阵表的第一行和第一列;
其次,从纵轴的特征1开始,与横轴的特征2,特征3,一直到特征n逐一进行比较,根据计算出的各个特征的信息增益,若特征1比特征2的信息增益大,则在特征1和特征2相交的表格内填1,反之填0,其他特征之间比较也是按照此规则;
最后,统计每行之和作为最后矩阵一列,得到目标优化矩阵。
7.根据权利要求6所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述各个特征权值获取方式如下:
利用合计项计算权重,可能出现某项特征的合计为0,但实际上该特征对于分类结果还是具有一定的重要性。所以权值计算公式如下:
某特征权值=1+(某特征的合计得分/所有特征的合计得分之和)。
8.根据权利要求6所述的基于特征加权的朴素贝叶斯微博用户分类方法,其特征在于,所述步骤6计算测试数据的后验概率,并将最大后验概率对应的类作为分类结果,具体包括:
根据步骤4计算的到的类的先验概率,各个特征的条件概率和步骤5计算得到的各个特征的权值,计算测试数据的后验概率,公式如下:
其中j={1,2},q代表特征x(i)的权值,将最大的后验概率对应的类作为测试数据的分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810443273.1/1.html,转载请声明来源钻瓜专利网。