[发明专利]基于集成搜索引擎的数据发现方法

权利要求书

1.一种基于集成搜索引擎的数据发现方法，其特征在于，包括：

网络爬虫首先读取程序配置文件，并预加载缓存采集时要用到的数据；事务管理器根据配置信息，初始化各个事务，并控制事务的运行；事务获取处理任务，先进行爬取链接去重检查，分析爬取链接的类型，对不同的采集类型执行不同的处理方式，在采集时，分析是新的采集事务还是更新任务，并在获取到链接的网页源码后，对采集到的网页源码执行清洗、过滤，根据网页信息相关特征规律提取出有效信息；事务对提取出的信息进行转换处理，进行缓存；当缓存待保存数据达到一定数量时，事务执行缓存数据入库处理；同时事务管理器定时监控各个事务的执行状态，对异常事务进行控制管理。

2.根据权利要求1所述的方法，其特征在于，进一步包括：

采用多层缓存结构，根据计算机的内存大小对各层缓存大小进行配置；

首先对全局爬取进行缓存；在对爬取数据库的访问连接过程中，采用一次性获取批量爬取结果进行缓存；

其次采用单个事务自身的爬取缓存，每个事务各自拥有一个采集数据源缓存区域；

然后对事务在处理过程中的产生的数据进行缓存，包括在链接去重检查时，缓存访问过的网页、媒体链接地址；

最后一层缓存是缓存待保存的数据，当待保存的数据达到一定数量以后，事务才对数据进行入库保存。

3.根据权利要求1所述的方法，其特征在于，进一步包括：

在爬取之前，根据域名生成规则依次遍历所有可能的组合域名，对组合域名进行依次检测，识别有效域名与无效域名，建立根域名库；然后获取导航站点的网页源码，根据根域名组成规则从网页源码中提取根站点地址与链接文本，更新根域名库。

4.根据权利要求1所述的方法，其特征在于，进一步包括：

对于页面重复链接，为每个事务部署专门的去重容器，每个容器只存储自己已经访问过的链接地址的映射码；去重容器只记录自己访问过在同一个根域名站点下的链接，对不属于此根域名下的网页地址进行丢弃处理；

当事务开始采集另一个根站点信息时，清空去重容器的历史访问记录，重新记录新的根站点访问记录；将信息采集器爬取站点的深度设置阈值，每个事务运行时，实际去重容器所占的内存通过爬取站点深度的阈值来控制。