[发明专利]一种互联网信息筛选系统及方法

说明书

技术领域

本发明涉及计算机网络技术领域，特别涉及一种互联网信息筛选系统及方法。

背景技术

随着时代的发展，网络上的信息呈现爆炸式的增长，门户网站的新闻媒体已经不再是互联网内容的主要来源，各种社交平台，微博，微信，朋友圈论坛等每天都会产生海量的信息。在大量的信息中及时、有效的提取出有价值的热点网络事件信息，将热点网络事件经过编辑、加工成具备营销特质的自有信息，通过自己的网络渠道快速发布出去，增加客户粘性和营销成功率。如何及时发布有价值的事件营销信息，对事件信息时效性的要求也越来越高，在将最具价值的事件信息叠加营销属性后及时的展现给用户也成为了电商的必然要求，如何快速的筛选热点事件文档也成为了电商网站亟待解决的问题。事件信息文档的筛选问题本质上可以归结为文档的二类分类问题，但同传统的文档分类相比而言又有着明显的差异性。一是文档类间界限的不明确性，即分类的标准是由人为确定的所谓热点事件价值决定；二是随着信息产业的发展，尤其是Internet的爆炸式增长，需要分析的热点事件数据呈现海量性特点。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种互联网信息筛选系统及方法。

本发明解决上述技术问题的技术方案如下：

一种互联网信息筛选系统，包括通信单元、预处理单元、权重计算单元、策略单元、阈值筛选单元和执行单元；

所述通信单元，其用于收集互联网的文档组成文档库，并将文档库内的文档信息传给预处理单元；还用于收集互联网的待分类文档，并将待分类文档信息传给分类器单元；

所述预处理单元，其用于将文档库内的文档进行归类，分词去噪和频数统计；所述将文档进行归类是指将文档按文档编号、文档内容和文档属性分别归类，所述将文档进行分词去噪是指对已归类文档进行分词去噪，得到的词条作为value输出，把词条所属的文档属性对作为key输出；所述对文档进行频数统计是指将具有相同文档属性的value合并，并统计属于同种文档属性的value队列中不同value的频数；

所述权重计算单元，其用于对预处理后的文档进行权重计算，具体为计算出每个文档中每个词的权重，取权重最大的前K个词作为此文档的特征词,并合并所有文档的特征词，组成特征词空间，将得到的文档权重结果映射到特征词空间上，得出各类文档的类中心向量；

所述分类器单元，其用于对待分类文档进行频数统计，得出针对每一文档的词条频数的统计结果，算出每一文档在特征词空间上的权值，利用权重计算单元算出的文档库内的文档的类中心向量，按照反馈机制进行分类，将文档号作为value输出，文档所属类别作为key输出，得到待分类文档与文档库内的文档的相似度结果；

所述策略单元，其用于设置筛选待分类文档与文档库内的文档的相似度的阈值；

所述阈值筛选单元，其用于按照策略单元设置的阈值在在待分类文档中进行筛选，得到目标文档。

本发明的有益效果是：网站服务器在收集新闻类微信、网站微博发布的事件文档信息后，突破在大规模热点事件信息数据集上筛选运行时的性能限制，解决了针对特定类别而进行的海量热点事件信息文档的分类筛选问题，提高了处理速度，能在保证准确度的情况下大大提高系统的执行速度和效率。满足了电商营销对热点事件时效性的要求，能及时的从大规模的热点事件信息数据中筛选出有价值的信息并予以发布，促进电商网站营销及时性、多样性的拓展，提高网站交易量和收入。

进一步的，本发明的系统还包括执行单元，其用于将促销商品内容加载在阈值筛选单元筛选后的目标文档中，并把加载后的文档数据信息传给通信单元。

进一步的，所述权重计算单元采用的是改进TFIDF＝TFxlog(m＝(m+k)xN)算法，其中TF表示某一特征项的词频，m表示该特征项的领域内文档频率，k表示该特征项的非领域内文档频率，N表示全部文档数。

进一步的，所述的分类器的采用的反馈机制，指的是以待分类文档与文档库内的文档的类中心向量的距离为依据，在分类过程中更新类中心向量；所述的更新类中心向量依据的是公式c_i＝a·c_i+b·w_i，其中ci为第i类的类中心向量，wi是第i类的文档向量，a、b为反馈系数，且a+b＝1。

一种互联网信息筛选方法，包括以下步骤：

(1)收集互联网的文档组成文档库；