[发明专利]基于WEB内容和结构挖掘的智能网络信息采集系统、方法

摘要

本发明公开了基于WEB内容和结构挖掘的智能网络信息采集系统，包括，协议处理器，与协议处理器连接的网页标记提取器，URL处理器，与URL处理器连接的前沿分析器，与网页标记提取器连接的URL数据库，还包括，与URL数据库连接的采集监视器。本系统利用Web内容和超链接结构分析，来判断网页与休闲出行领域的相关性，从而决定采集的顺序，实现智能网络信息的采集。本发明还公开了采集方法，提取得到网页中的元数据；检测新的URL链接时分析上述网页中检测到的新的URL与采集主题的关联性，生成待访问的URL列表；采集过程中，监控多线程采集进程，同时通过评估采集进程，对采集进行优化，大大提高相关网页的识别率，优化整个采集过程。

主权项

智能网络信息采集系统，其特征在于，包括：协议处理器，用以根据WEB协议获取网页中的数据；与协议处理器连接的网页标记提取器，用以提取所述网页中的元数据；URL处理器，用以检测新的URL，并分析上述网页中检测到的新的URL与采集主题的关联性；以及根据关联性分析结果对新的URL进行过滤和分类，然后作为待访问的URL存入前沿分析器中；与URL处理器连接的前沿分析器，用以存储待访问的URL列表；与网页标记提取器连接的URL数据库，用以存放所述元数据，以及所述前沿分析器中的URL链接；还包括，与URL数据库连接的采集监视器，用以制定与监控多线程采集，以及通过评估采集进程，对采集进行优化。