[发明专利]一种基于贝叶斯算法的内容过滤方法

权利要求书

1.一种基于贝叶斯算法的内容过滤方法，其特征在于该过滤方法针对第三代移动通信核心网中文本信息进行内容过滤，其使用基于双重阈值的贝叶斯算法来进行文本分类，设C₁为正常信息，C₂为垃圾信息，分类器将测算代表数据样本的特征向量X属于每个类别C_i的概率，进行测算的贝叶斯公式为：

P(C_i|X)＝P(X|C_i)P(C_i)/P(X)  1≤i≤2，

其中后验概率P(C_i|X)的最大值被称为最大后验概率，对每个类错误！未找到引用源。，只需计算错误！未找到引用源。，未知样本特征向量X将被指派到其错误！未找到引用源。的风险值最低的C_i类，

基于贝叶斯算法的内容过滤方法具体流程如下：

1)每个数据样本用一个n维特征向量X＝(x₁，x₂，...x_n)错误！未找到引用源。表示，其中x₁，x₂，...x_n表示某个数据样本中n个特征词条A₁，A₂，...A_n错误！未找到引用源。的度量；

2)计算概率p(x_k|C_i)，其由训练样本估计，采用经过平滑处理后的词频计算式，计算的公式为p(x_t|C_i)＝(1+f_t)/(n+f_i)，其中f_t为特征词x_t在C_i类文本中出现的次数，f_i为C_i类所有文本的特征词总数，n为向量维数；

3)对p(x_k|C_i)进行风险计算，先验概率的风险系数设定如下：

条件1：某个词语出现在垃圾信息中的概率大于出现在正常信息中的频率，

a)将其判定为正常词语时所带来的损失设定为1；

b)将其判定为垃圾词语所带来的损失设为b，其中b＜1；

条件2：若词条出现在正常信息中的概率大于出现在垃圾信息中的概率，

a)将其判定为垃圾词语所带来损失设定为d，可知d＞1，

b)将其判定为正常词语带来的损失值小于1，在此仍设为b，其中b＜1，

将词语分量x_k判定为垃圾词条要满足的条件为：

p(x_t|C₁)/p(x_t|C₂)＜φ，其中φ＝(1-b)/(d-b)，

由b＜1、d＞1，得到φ＜1，当针对某个词条的先验概率之比满足上式的时候，才将该词条归为垃圾词条，即完成了对p(x_k|C_i)的风险计算；

4)计算类的先验概率P(C_i)，计算的公式为P(C_i)＝s_i/s，其中s_i是类C_i错误！未找到引用源。中的训练样本数，而s是训练样本总数；

5)计算P(X|C_i)，为了降低运算错误！未找到引用源。的开销，假定特征词之间相互条件独立，即属性间不存在依赖关系，计算的公式为 

6)进行了如上假设和处理后，对每个类错误！未找到引用源。，计算P(X|C_i)P(C_i)，并对其进行风险计算，后验概率的风险系数设定如下：

条件1：信息被正确判定时，不会给用户带来任何损失，相应的损失设定为0； 

条件2：垃圾信息被误判为正常信息时所带来的损失设定为1；

条件3：正常信息被误判为垃圾信息时所带来的损失设定为k，可知k要大于1，

将未知样本特征向量X判定为垃圾信息要满足的条件为：

P(C₂|X)＞θ，其中θ＝k/(1+k)，

由k＞1，得到θ＜1，当针对某个未知样本的后验概率满足上式的时候，才将该样本归为垃圾信息，即完成了对P(C_i|X)的风险计算，若最终得到P(C₂|X)＞θ，判定该信息为垃圾信息；反之，判定其为正常信息。