[发明专利]一种基于贝叶斯算法的内容过滤方法

说明书

技术领域

本发明方法是一种基于最小风险的双重阈值贝叶斯决策方法，它针对移动通信网分组域文本信息，对其中的内容进行检测和分类，实现高效实时的文本内容监管。属于信息安全领域。 

背景技术

中国互联网协会发布的一项调查显示：中国手机用户平均每周收到8.29条垃圾信息，作为世界上最大的移动通信市场，中国的手机用户数已经超过4.43亿，按照每条信息收费0.15元计算，垃圾信息每天为运营企业带来的收入约为7800多万元。随着3G时代的到来，用户通过手机能够浏览和查阅的信息越来越多，但他们也面临着五花八门的垃圾信息的骚扰。倘若我们能在信息传输的过程中截取并过滤掉垃圾信息，就能够打破垃圾信息传播的“生态链”，让非法分子无机可乘。故研究一种能够有效识别垃圾文本信息的过滤方法具有重要的经济价值和社会价值。 

垃圾信息的分类过滤是在协议解析以后对解析出的具体内容进行检测，属于内容过滤技术的范畴。文本的分类可以看成模式识别的一个具体应用。本发明利用基于最小风险的双重阈值贝叶斯决策的方法，在TD-SCDMA移动互联网内容监管系统中对真实的文本通信内容进行分类。实验证明，它拥有较高的准确率，正常文本信息极少会被判定为垃圾信息，且处理速度较快，完全能够满足实时处理的需求。 

发明内容

技术问题：本发明的目的是提供一种高速的文本内容过滤方法，可以实现对核心网分组域中的文本内容进行检测，防止垃圾或者违法信息对通信网用户造成干扰，在保证通信质量的前提下减少了用户有用信息的损失，对垃圾信息也得到了很好的抑制，实现第三代移动通信移动网内容监管数据的高速实时处理。 

技术方案：本发明采用基于最小风险的双重阈值贝叶斯算法对文本信息进行实时的分析、检测，从而实现对第三代移动通信网络中数据内容的监管。 

本发明的基于贝叶斯算法的内容过滤方法针对3G(第三代移动通信)核心网中文本信息进行内容过滤，其使用基于双重阈值的贝叶斯算法来进行文本分类，设C₁为正常信息，C₂为垃圾信息，分类器将测算代表数据样本的特征向量X属于每个类别C_i的概率，进行测算的贝叶斯公式为： 

P(C_i|X)＝P(X|C_i)P(C_i)/P(X)  1≤i≤2， 

其中后验概率P(C_i|X)的最大值被称为最大后验概率，对每个类错误！未找到引用源。，只需计算错误！未找到引用源。，未知样本特征向量X将被指派到其错误！未找到引用源。的风险值最低的C_i类， 

基于贝叶斯算法的内容过滤方法具体流程如下： 

1)每个数据样本用一个n维特征向量X＝(x₁，x₂，...x_n)错误！未找到引用源。表示，其中x₁，x₂，...x_n表示某个数据样本中n个特征词条A₁，A₂，...A_n错误！未找到引用源。的度量； 

2)计算概率p(x_k|C_i)，其由训练样本估计，采用经过平滑处理后的词频计算式，计算的公式为p(x_t|C_i)＝(1+f_t)/(n+f_i)，其中f_t为特征词x_t在C_i类文本中出现的次数，f_i为C_i类所有文本的特征词总数，n为向量维数； 

3)对p(x_k|C_i)进行风险计算，先验概率的风险系数设定如下： 

条件1：某个词语出现在垃圾信息中的概率大于出现在正常信息中的频率， 

a)将其判定为正常词语时所带来的损失设定为1； 

b)将其判定为垃圾词语所带来的损失设为b，其中b＜1； 

条件2：若词条出现在正常信息中的概率大于出现在垃圾信息中的概率， 

a)将其判定为垃圾词语所带来损失设定为d，可知d＞1， 

b)将其判定为正常词语带来的损失值小于1，在此仍设为b，其中b＜1， 

将词语分量x_k判定为垃圾词条要满足的条件为：