[发明专利]基于教育网络信息主题采集方法

摘要

本发明公开了一种能够使采集到大量URL地址以及网页文本信息均与主题相关性较高，同时提高采集教育网络信息主题准确性的基于教育网络信息主题的采集方法。该基于教育网络信息主题的采集方法包括步骤采集网络页面，对页面进行分析下载，对页面信息进行提取，去除无关页面和无关URL，然后对页面和URL进行去重，将去重后网页保存到教育信息库，并且提取去重后的页面的URL，将该URL放入到采集到的URL序列中，然后供给个采集器，对网页进行重新采集。采用该基于教育网络信息主题的采集方法能够提高采集效率，提高教育网络信息主题采集有效性。

主权项

1.基于教育网络信息主题采集方法，其特征在于，包括以下步骤：S1、首先构造主题类缓冲池positivePool、非主题类缓冲池negtivePool两类缓冲池，用来存放UR类实体，即URL地址集中的URL地址；两个缓冲池初始化值均为空集合；所述主题类缓冲池中存放与采集主题相关的URL地址，非主题类缓冲池中存放与采集主题不相关的URL地址；缓冲池的作用是存放URL地址以便采集网页的时候能快速使用，分为主题类和非主题类是为了形成主题类的URL地址集；所述缓冲池即为封装好的队列操作；S2、根据需要采集的主题人工选取种子站点，构成搜索程序Spider的初始网页集即URL地址集；S3、对Web网页的教育网络信息主题进行Spider采集；S4、对采集到的网络页面进行解析下载；提取页面的URL地址以及文本信息；对采集到的网络页面进行与主题的相关性计算；过滤掉与主题无关的网络页面；对采集到的页面URL地址，进行相关性计算；过滤掉与主题无关的URL地址；S5、将过滤后与主题相关的页面放入到主题数据库，将与主题不相关的页面放入到非主题数据库；将采集到的与主题相关的URL地址存放到主题类缓冲池；S6、对主题数据库中的网页进行去重处理；删除主题数据库中相同的页面；并且对主题类缓冲池内的URL地址进行去重处理；S7、提取主题数据库中去重后页面的URL地址；将提取到的URL地址添加到去重后主题类缓冲池内的URL地址序列中，并且进行去重处理；将去重处理后的URL地址序列存储到主题类缓冲池，将去重处理后的网页存储到基于教育主题的教育信息库。