[发明专利]一种基于主题网络爬虫的搜索方法及装置

权利要求书

1.一种基于主题网络爬虫的搜索方法，其特征在于，所述方法包括：

从与给定搜索主题相关的网页地址集中提取一个网页地址；

获取所述网页地址对应的有效网页；

对所述有效网页进行分析，得到有效网页内容；

根据所述有效网页内容，计算所述有效网页与所述搜索主题在语义上的相关度，作为所述有效网页的立即价值，当所述有效网页的立即价值符合第一预设条件时，将所述有效网页及包含的网页链接作为搜索结果添加到页面数据库；

当所述有效网页的立即价值不符合第一预设条件时，计算所述有效网页中的网页链接相对于所述搜索主题的链接价值，作为所述网页链接的未来回报价值，当所述网页链接的未来回报价值符合第二预设条件时，将所述网页链接添加到所述网页地址集中。

2.根据权利要求1所述的方法，其特征在于，对所述有效网页进行分析，得到有效网页内容，包括：

对所述有效网页进行超文本标记语言HTML语法分析；

根据所述HTML语法分析结果，提取所述有效网页对应的内容，作为有效网页内容。

3.根据权利要求1所述的方法，其特征在于，根据所述有效网页内容，计算所述有效网页与所述搜索主题在语义上的相关度，作为立即价值，包括：

计算所述有效网页在贝叶斯分类器每一类中对应的概率，所述贝叶斯分类器为根据所述页面数据库中有效网页包含的网页链接的未来回报价值的大小形成的分类；

将所述概率作为权值，计算所述有效网页与所述搜索主题在语义上的相关度。

4.根据权利要求3所述的方法，其特征在于，计算所述有效网页中每个网页链接相对于所述搜索主题的链接价值，作为未来回报价值，包括：

将所述概率作为权值，计算所述有效网页中每个网页链接相对于所述搜索主题的链接价值。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

在预定的时间段内，提取所述页面数据库中立即价值满足第三预设条件的有效网页；

根据提取到的有效网页及所述有效网页中网页链接的未来回报价值，更新所述贝叶斯分类器中的分类。

6.一种基于主题网络爬虫的搜索装置，其特征在于，所述装置包括：

第一提取单元，用于从与给定搜索主题相关的网页地址集中提取一个网页地址；

第二提取单元，用于获取所述网页地址对应的有效网页；

获取单元，用于对所述有效网页进行分析，得到有效网页内容；

第一添加单元，用于根据所述有效网页内容，计算所述有效网页与所述搜索主题在语义上的相关度，作为所述有效网页的立即价值，当所述有效网页的立即价值符合第一预设条件时，将所述有效网页及其包含的网页链接作为搜索结果添加到页面数据库；

第二添加单元，用于当所述有效网页链接的立即价值不符合第一预设条件时，计算所述有效网页中的网页链接相对于所述搜索主题的链接价值，作为所述网页链接的未来回报价值，当所述网页链接的未来回报价值符合第二预设条件时，将所述网页链接添加到所述网页地址集中。

7.根据权利要求6所述的装置，其特征在于，所述获取单元，包括：

分析子单元，用于对所述有效网页进行超文本标记语言HTML语法分析；

获取子单元，用于根据所述HTML语法分析结果，提取所述有效网页对应的内容，作为有效网页内容。

8.根据权利要求6所述的装置，其特征在于，所述第一添加单元具体用于：

计算所述有效网页在贝叶斯分类器每一类中对应的概率，所述贝叶斯分类器为根据所述页面数据库中有效网页包含的网页链接的未来回报价值的大小形成的分类；

将所述概率作为权值，计算所述有效网页与所述搜索主题在语义上的相关度。

9.根据权利要求8所述的装置，其特征在于，所述第二添加单元具体用于：

将所述概率作为权值，计算所述有效网页中每个网页链接相对于所述搜索主题的链接价值。

10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括：

第三提取单元，用于在预定的时间段内，提取所述页面数据库中立即价值满足第三预设条件的有效网页链接；

更新单元，用于根据提取到的有效网页及所述有效网页中网页链接的未来回报价值，更新所述贝叶斯分类器中的分类。