[发明专利]一种基于变体词识别技术的垃圾短信分类引擎

摘要

一种基于变体词识别技术的垃圾短信分类引擎涉及信息安全技术领域。本发明由文本预处理模块，分词模块，特征选择模块，垃圾短信分类器模块组成；本发明利用字符结合度的“交叉结合度”分词模块提高了短信文本分词后的文本特征的质量，结合变体词识别技术的短信分类引擎模块可以很好地解决含有生僻字、同音字、象形字、火星文等变体词的垃圾短信分类问题，分类效果较一般分类引擎而言，准确率更高。

主权项

1.一种基于变体词识别技术的垃圾短信分类引擎，其特征在于由文本预处理模块，分词模块，特征选择模块，垃圾短信分类器模块组成；实现本发明的具体步骤包括：1)文本预处理；由文本预处理模块去除初始短信文本中的停用词、乱码、短链接，生成文本预处理后的短信文本并将文本预处理后的短信文本发送给分词模块；去除停用词所用的停用词表由哈工大停用词库加四川大学机器学习智能实验室停用词库加百度停用词表经过整合去重后得到；2)交叉结合度分词，输出词组；分词模块接收文本预处理后的短信文本，并将文本预处理后的短信文本加入到语料库中；语料库由不断加入的文本预处理后的短信文本加上在先收集的短信文本集合组成；使用下列公式：其中，w_i‑1w_iw_i+1w_i+2表示短信文本中连续的4个字符；表示语料库中，含有字符w_i的总短信条数；N_all表示语料库中，所有短信数据的总条数；表示语料库中，含有字符串w_iw_i+1的总短信条数；p(w_i)表示字符w_i在语料库中的经验概率，为含有字符w_i的总短信条数占短信数据条数总和的比例；p(w_iw_i+1)表示字符串w_iw_i+1在语料库中的经验概率，为含有字符串w_iw_i+1的总短信条数占短信数据条数总和的比例；I_i(w_i；w_i+1)表示两个连续字符w_i和w_i+1之间的字符结合度；表示间隔w_i的w_i‑1和w_i+1之间的字符结合度；表示间隔w_i+1的w_i和w_i+2之间的字符结合度；表示间隔w_i和w_i+1的w_i‑1和w_i+2之间的字符结合度；分词模块对文本预处理后的短信文本中的连续字符依次计算相邻字符结合度I_i(w_i；w_i+1)；分词模块对文本预处理后的短信文本中的连续字符依次计算设定交叉字符结合度分词模块引入Sigmoid函数进行正规化，使I_i(w_i；w_i+1)和R_i域转化为(0,1)，即计算综合结合度综合结合度根据与的大小动态调整它们的占比，始终受与中的较大值影响较大；当综合结合度的值大于阈值时，分词模块将生成的字符组成词组，输出分词结果；3)特征选择模块采用TF‑IDF方法生成最终的分类特征；4)垃圾短信分类器模块采用向量机模型根据最终的分类特征对文本预处理后的短信文本进行分类，输出短信类别；向量机模型称作SVM；向量机模型的原理如下：训练样本集其中x_i为样本点，y_i∈{1,‑1}为类别标签，i＝1,...,l，l为训练样本个数。若训练样本是线性可分的，SVM找到w,b，使对任意i＝1,...,l，有w^Tx_i+b＞0,若y_i＝1w^Tx_i+b＜0,若y_i＝‑1此时称w^Tx+b＝0为分类超平面，求解w,b可通过如下优化模型得出：s.t.y_i(w^Tx_i+b)≥1,i＝1,2,...,l上式是一个凸二次优化问题，可求得最优解(w^*,b^*)，可得分类超平面为(w^*)^Tx+b^*＝0，最终得分类决策函数为：f(x)＝sgn((w^*)^Tx+b^*)；向量机模型分类的伪代码是：for each message msg_i in data dolabel(msg_i)←SVM_Classifier(msg_i)end formsg_i代表经过文本处理和特征选择后的文本特征向量；SVM_Classifier(msg_i)代表对特征文本msg_i使用SVM分类器得到的结果；label(msg_i)代表特征文本msg_i对应的短信被分为的类别。