[发明专利]一种基于数据挖掘的在线文章筛选方法

摘要

本发明公开了一种基于数据挖掘的在线文章筛选方法，具体来说，公开了一种利用各种方法来识别网络文章的方法，它属于网络技术领域。该方法主要步骤包括：(1)关键字匹配；(2)是否发表；(3)内容覆盖程度；(4)相似度筛选，多余删除；(5)文章适用的语言分类；(6)有效提取相关的优秀文章；(7)精品文章再筛选；(8)垃圾文章删除；(9)精品文章作者推荐。利用此方法可以提高筛选效率，并且可以节约人力成本。

主权项

1、一种基于数据挖掘的在线文章筛选方法，其特征在于，该方法主要步骤包括：1)、首先看该文章是否是关于特定网站所需的文章，从关键字、摘要提取相应的字眼作为一个关键属性，如果该属性与本网站收录的内容无关，属性值为false，则直接淘汰；如果属性值为yes则进入下一步筛选；2)、其次看该文章是否在国内或者国外核心杂志上发表，如果文章有发表，则查找一个核心期刊表，如果文章发表在该核心期刊表中的期刊上则录用该文章；若文章不在核心期刊列表中，则因为该文章已经发表过就给一个相应的得分；3)、然后根据该文章所覆盖的内容点，根据覆盖的内容点得到相应的得分，并且这个得分是根据本文件库所有的文章覆盖的内容点的多少进行动态调整，最后通过累计所覆盖的内容点得到该文章这部分的分数，具体内容点的计算使用数据挖掘关联规则方法；4)、然后对本文章进行相似度审核，从关键字，摘要甚至是采用全文匹配原则；先考虑关键字匹配，如果关键字匹配后采用全文匹配，当出现一定相似度，就根据原来的文章的得分情况判断，若是原有文章得分较低则删除时间较久的文章，否则删除新录入的文章，这里使用的相似度审核不是对全文进行逐字逐句的匹配，而是先对关键字进行比较，得到一定的相似度得分，然后对摘要进行匹配；5)、然后根据文章的语言进行分类，文章的语言部分可以分为摘要和正文两部分，文章语言的分类是为了适应各个语种的文章的需求；6)、接着检查近期是否有对某方面的文章特别的需要，如果有就检测是否该文章是特别需要的类型，如果是则归档，进行优秀文章记录，否则进行下一步筛选；这里需要一个相关的原则，一些文章得分较低，但是有较大的需求，这部分文章就降级录取，这部分的调整既能够由人为调整，也能够有一些设计的系统进行调整；7)、最后一步进行综合评审，这个综合筛选主要是人为因素的介入小部分文章的筛选，包括对一些精品文章的提取精华部分，对一些垃圾文章直接人为删除，对一些不确定文章进行归档；8)、最后进行文章作者积分录入模块，根据文章的作者累计相应作者的文章；9)、以上所述的各个部分文章的得分要累加起来，进行本文章的整体评价，并且对该文章进行分数评级，并且根据文章的等级进行分类存储。