[发明专利]基于集成搜索引擎的数据发现方法

摘要

本发明提供了一种基于集成搜索引擎的数据发现方法，该方法包括读取程序配置文件，并预加载缓存采集时要用到的数据；初始化各个事务，并控制事务的运行，获取处理任务，进行爬取链接去重检查，分析爬取链接的类型，对采集到的网页源码执行清洗、过滤，提取出有效信息；对提取出的信息进行转换处理，进行缓存，当缓存待保存数据达到一定数量时执行缓存数据入库处理；同时定时监控各个事务的执行状态，对异常事务进行控制管理。本发明提出了一种基于集成搜索引擎的数据发现方法，利用事务控制策略进行高效数据采集，针对多维对象之间的耦合关系进行数据挖掘。

主权项

一种基于集成搜索引擎的数据发现方法，其特征在于，包括：网络爬虫首先读取程序配置文件，并预加载缓存采集时要用到的数据；事务管理器根据配置信息，初始化各个事务，并控制事务的运行；事务获取处理任务，先进行爬取链接去重检查，分析爬取链接的类型，对不同的采集类型执行不同的处理方式，在采集时，分析是新的采集事务还是更新任务，并在获取到链接的网页源码后，对采集到的网页源码执行清洗、过滤，根据网页信息相关特征规律提取出有效信息；事务对提取出的信息进行转换处理，进行缓存；当缓存待保存数据达到一定数量时，事务执行缓存数据入库处理；同时事务管理器定时监控各个事务的执行状态，对异常事务进行控制管理。