[发明专利]一种信息收集方法和系统

权利要求书

1.一种信息收集方法，其特征在于，所述方法包括：

获取特定场所信息和事件信息；

根据所述特定场所信息和事件信息，获取候选网站；

下载所述候选网站的网页；

利用所述事件信息对所述候选网站的网页进行过滤，获取包含所述事件信息的网页；

对包含所述事件信息的网页进行统一资源定位符URL模式学习，获取候选URL模式；

利用所述候选URL模式，对所述候选网站的网页再次进行过滤，获取匹配所述候选URL模式的候选网页集合；

从所述候选网页集合中，获取大于或等于预置覆盖频率阈值的URL模式；

根据所述大于或等于预置覆盖频率阈值的URL模式获取所述URL模式所属的网站信息。

2.如权利要求1所述方法，其特征在于，所述方法还包括：

根据所述大于或等于预置覆盖频率阈值的URL模式和所述大于或等于预置覆盖频率阈值的URL模式所属的网站信息，生成所述网站信息中的每个网站的URL模式导航器；

利用所述URL模式导航器，从所述网站信息中的每个网站中下载匹配所述URL模式的网页。

3.如权利要求1所述方法，其特征在于，所述根据所述特定场所信息和事件信息，获取候选网站包括：

根据所述特定场所信息和事件信息，通过网站扩充策略获取候选网站。

4.如权利要求3所述方法，其特征在于，所述根据所述特定场所信息和事件信息，通过网站扩充策略获取候选网站包括：

根据所述事件信息的事件要素和/或时间生成查询关键字，提交到WEB搜索引擎，在所述WEB搜索引擎返回结果的URL列表中，选择出现频数大于或者等于预置阈值的网站作为候选网站。

5.如权利要求1所述方法，其特征在于，所述从所述候选网页集合中，获取大于或等于预置覆盖频率阈值的URL模式包括：

从所述候选网页集合中抽取全部事件，生成事件信息库，并将相同事件合并，获取所述候选URL模式到事件的映射表，然后根据所述映射表，获取大于或等于预置覆盖频率阈值的URL模式。

6.一种信息收集系统，其特征在于，所述系统包括：

网站扩充子系统，用于获取特定场所信息和事件信息，并根据所述特定场所信息和事件信息，获取候选网站；

URL模式学习子系统，用于下载所述候选网站的网页；利用所述事件信息对所述候选网站的网页进行过滤，获取包含所述事件信息的网页；对包含所述事件信息的网页进行URL模式学习，获取候选URL模式；利用所述候选URL模式，对所述候选网站的网页再次进行过滤，获取匹配所述候选URL模式的候选网页集合；

URL模式选取子系统，用于从所述候选网页集合中，获取大于或等于预置覆盖频率阈值的URL模式，并根据所述大于或等于预置覆盖频率阈值的URL模式获取所述URL模式所属的网站信息。

7.如权利要求6所述系统，其特征在于，所述URL模式选取子系统进一步用于根据所述大于或等于预置覆盖频率阈值的URL模式和所述大于或等于预置覆盖频率阈值的URL模式所属的网站信息，生成所述网站信息中的每个网站的URL模式导航器；

所述系统还包括：

网页收集子系统，用于利用所述URL模式导航器，从所述网站信息中的每个网站中下载匹配所述URL模式的网页。

8.如权利要求6所述系统，其特征在于，所述网站扩充子系统，用于根据所述特定场所信息和事件信息，获取候选网站包括：

用于根据所述特定场所信息和事件信息，通过网站扩充策略获取候选网站。

9.如权利要求8所述系统，其特征在于，所述网站扩充子系统，用于根据所述特定场所信息和事件信息，通过网站扩充策略获取候选网站包括：

根据所述事件信息的事件要素和/或时间生成查询关键字，提交到WEB搜索引擎，在所述WEB搜索引擎返回结果的URL列表中，选择出现频数大于或者等于预置阈值的部分网站作为候选网站。

10.如权利要求6所述系统，其特征在于，所述URL模式学习子系统，用于从所述候选网页集合中，获取大于或等于预置覆盖频率阈值的URL模式，并根据所述URL模式获取所述URL模式所属的网站信息包括：

从所述候选网页集合中抽取全部事件，生成事件信息库，并将相同事件合并，获取所述候选URL模式到事件的映射表，然后根据所述映射表，获取大于或等于预置覆盖频率阈值的URL模式，并根据所述URL模式获取所述URL模式所属的网站信息。