[发明专利]针对文本特征的广告过滤系统及其过滤方法

权利要求书

1.一种针对文本特征的广告过滤系统，其特征在于：

所述广告过滤系统包括内容输入接口、特征分析模块、以及决策计算模块、数据记录模块、信息库、指令输出接口、人工操作输入接口和机器学习模块；其中，

内容输入接口用于接收来自于互联网互动产品的用户生成内容；

特征分析模块用于分析用户生成内容，提取用户生成内容的多种特征，并根据特征历史情况及人工操作记录计算特征值，生成特征向量；

信息库用于存储用户生成内容的各项特征数据；

决策计算模块用于根据特征分析模块生成的特征向量综合判断是否对用户生成内容进行过滤；

数据记录模块用于将特征数据、分类数据以及人工操作记录写入信息库；

指令输出接口用于将决策计算模块判断的结果整理成显示/屏蔽操作指令，同步给互联网互动产品；

人工操作输入接口用于接收并解析人工修改过滤结果的操作；

机器学习模块利用每次分析的结果以及人工操作记录进行学习，并根据学习更新决策计算模块。

2.如权利要求1所述的广告过滤系统，其特征在于：

所述内容输入接口包括：

数据输入接口，校验输入的用户生成内容数据的数据格式以及完整性；

解析器，解析输入的用户生成内容数据，获得ID、标题、内容、用户ID、发布时间等信息。

3.如权利要求1所述的广告过滤系统，其特征在于：

所述特征分析模块包括：分词器、相似度分析模块、文本内容分类模块、联系方式分析模块以及用户分析模块。

4.如权利要求3所述的广告过滤系统，其特征在于：

所述分词器使用汉语词法分析系统对用户生成内容中的文本内容进行分词； 

所述相似度分析模块对分词后的词进行分析，得到与当前内容相似的内容发布次数，并根据人工操作记录或相似发布次数得到当前用户生成内容可能为广告的相似度特征值。

5.如权利要求3所述的广告过滤系统，其特征在于：

所述文本内容分类模块使用分词后的词在文本分类特征词集合进行映射得到词向量，使用支持向量机对词向量进行分类，得出的删除概率作为文本内容分类模块特征值。

6.如权利要求3所述的广告过滤系统，其特征在于：

所述联系方式分析模块用于提取解析后的用户生成内容数据中可能存在的联系方式，并对该联系方式进行分析，得到与当前联系方式相同的联系方式发布过多少次，并根据人工操作记录或联系方式发布次数得到当前用户生成内容可能为广告的联系方式特征值。

7.如权利要求3所述的广告过滤系统，其特征在于：

所述用户分析模块从用户库中查询用户发文记录，根据用户发帖被删除和通过次数进行计算用户特征值。

8.如权利要求1所述的广告过滤系统，其特征在于：

所述信息库具有联系方式库、用户库、文章库以及相似度倒排索引，其中

所述联系方式库用于存储联系方式内容、联系方式种类、联系方式出现次数以及广告过滤通过和删除次数；用户库用于存储用户ID和上次发帖时间；

文章库用于存储文章ID和广告过滤通过和删除次数；

相似度倒排索引用于快速匹配文本相似度。

9.如权利要求1所述的用户生成内容过滤系统，其特征在于：

所述决策计算模块根据相似度分析模块、文本内容分类模块、联系方式分析模块、以及用户分析模块产生的特征值生成一个多维特征向量，并经由神经网络进行分类，确定输入的用户生成内容是否为广告帖。

10.如权利要求1所述的用户生成内容过滤系统，其特征在于：

所述机器学习模块通过对特征数据和分类数据的分析，使用反向传播算法对降噪后的数据进行机器学习，找到最优的决策神经网络，并对当前神经网络进行更新；

所述机器学习模块还通过对词和分类数据的分析，使用X²统计选择文本分类特征词，并更新文本分类特征词库。