[发明专利]基于语义扩展的海量短文本信息过滤方法

摘要

本发明提供一种基于语义扩展的海量短文本信息过滤方法，能解决短文本的特征稀疏性问题。步骤一、建立初始的训练样本集，对于训练样本集的每个样本基于上下文信息进行扩展；步骤二、对扩展的训练样本集进行文本预处理，步骤三、基于预处理后的训练样本集建立主题特征词典；步骤四、将训练样本集的每个文本在隐主题空间上进行文本表示；步骤五、构建SVM过滤器；步骤六、对待过滤文本基于上下文信息进行扩展、文本预处理，转化为特征词集合，再将其在隐主题空间上进行文本表示，由过滤器对其进行过滤；步骤七、定期采集新样本，在已有的隐主题空间上更新主题的词项概率分布，对新样本进行文本表示，重新建立SVM过滤器。

主权项

一种基于语义扩展的海量短文本信息过滤方法，其特征在于，具体包括如下步骤：步骤一、建立初始的训练样本集，对于训练样本集的每个样本基于上下文信息进行扩展，形成新的训练样本集；步骤二、对扩展的训练样本集进行文本预处理，使用特征选择算法确定特征词，将每个文本变换为特征词的集合；步骤三、基于步骤二中预处理后的训练样本集进行并行训练LDA（Latent Dirichlet Allocation）扩展模型，建立主题特征词典；步骤四、将步骤二中所述的训练样本集的每个文本在隐主题空间上进行文本表示；步骤五、基于步骤二所述的训练样本集的主题向量表示学习构建SVM（Support Vector Machines）过滤器；步骤六、对待过滤文本基于上下文信息进行扩展、文本预处理，转化为特征词集合，再将其在隐主题空间上进行文本表示，由步骤五所述的过滤器对其进行过滤；步骤七、定期采集新样本，在已有的隐主题空间上更新主题的词项概率分布，对新样本进行文本表示，使用增量SVM算法，重新建立SVM过滤器。