[发明专利]一种基于元搜索的网络信息采集器简单实现方法

权利要求书

1.一种基于元搜索的网络信息采集器简单实现方法，其特征在于集成多个搜索引擎，对搜索关键词并行进行搜索采集，然后对采集信息进行有效的组织，及时发现最新信息，提供给用户用作分析的基础数据源，该方法适用的体系结构包括：生成采集起始URL模块，模拟浏览器行为模块，搜索结果列表页下载并结构化信息提取模块，网页去重，网页正文抽模块；

生成采集起始URL模块生成搜索引擎搜索URL；

模拟浏览器行为模块将访问网站行为伪装成浏览器的行为，实现采集的反屏蔽；

搜索结果列表页下载并结构化信息提取模块将搜索并下载到的结果进行结构信息（标题、来源、发布时间、摘要、URL）提取；

网页去重将提取到的搜索结果的URL进行去重，避免相同网站进行重复下载；

网页正文抽模块下载并提取搜索结果的正文，将正文以及模块结构化的信息存储到数据库中。

2.根据权利要求1所述的方法，其特征在于所述生成采集起始URL模块，可支持若干的主流搜索引擎，对同样的关键词进行并行搜索。

3.根据权利要求1所述的方法，其特征在于所述的模拟浏览器行为模块，可通过不同的手段实现模拟浏览器行为，包括：对采集任务间隔进行控制，固定间隔加上随机间隔；够着代池 和IP池，随机切换userAgent和IP。

4.根据权利要求1所述的方法，其特征在于所述的网页去重，可通过内存数据库实现url的去重，并可计算某个网页的重复次数，为计算网页重要程度提供数据。

5.根据权利要求1所述的方法，其特征在于所述的网页正文抽模块，可设置不同的规则对不同的网站的网页进行正文抽取，并且过滤掉垃圾信息；该模块还可以将抽取到的网页中的链接继续进行采集，实现多层的采集。

6.根据权利要求1所述的方法，其特征在于所述的网页正文抽模块，可设置不同的规则对不同的网站的网页进行正文抽取，并且过滤掉垃圾信息；该模块还可以将抽取到的网页中的链接继续进行采集，实现多层的采集。