[发明专利]一种基于主题网络爬虫的搜索方法及装置

说明书

技术领域

本发明涉及互联网数据获取技术，尤其涉及一种基于主题网络爬虫的搜索方法及装置。

背景技术

随着互联网技术的不断发展，互联网上的信息量也在迅速增长，网页搜索技术也随之迅速发展，如何让用户快速、准确地找到所需要的网页，仍然是网页搜索技术发展的方向。

现有技术主要是由主题网络爬虫采取一定的搜索策略来保证所抓取的网页与主题相关，避免不相关网页的抓取，采取的搜索策略通常是依据搜索时在线获得的文本或网页结构来对链接页面重要程度进行预测，进而决定链接访问的顺序，这种搜索策略在网络爬虫距离相关网页比较远时，容易迷失方向，不能准确的抓取到与主题相关的网页。

发明内容

有鉴于此，本发明实施例提供了一种基于主题网络爬虫的搜索方法及装置，以保证网页抓取的准确性。

一方面，本发明实施例提供了一种基于主题网络爬虫的搜索方法，所述方法包括：

从与给定搜索主题相关的网页地址集中提取一个网页地址；

获取所述网页地址对应的有效网页；

对所述有效网页进行分析，得到有效网页内容；

根据所述有效网页内容，计算所述有效网页与所述搜索主题在语义上的相关度，作为所述有效网页的立即价值，当所述有效网页的立即价值符合第一预设条件时，将所述有效网页及包含的网页链接作为搜索结果添加到页面数据库；

当所述有效网页的立即价值不符合第一预设条件时，计算所述有效网页中的网页链接相对于所述搜索主题的链接价值，作为所述网页链接的未来回报价值，当所述网页链接的未来回报价值符合第二预设条件时，将所述网页链接添加到所述网页地址集中。

进一步的，对所述有效网页进行分析，得到有效网页内容，包括：

对所述有效网页进行超文本标记语言HTML语法分析；

根据所述HTML语法分析结果，提取所述有效网页对应的内容，作为有效网页内容。

进一步的，根据所述有效网页内容，计算所述有效网页与所述搜索主题在语义上的相关度，作为立即价值，包括：

计算所述有效网页在贝叶斯分类器每一类中对应的概率，所述贝叶斯分类器为根据所述页面数据库中有效网页包含的网页链接的未来回报价值的大小形成的分类；

将所述概率作为权值，计算所述有效网页与所述搜索主题在语义上的相关度。

进一步的，计算所述有效网页中每个网页链接相对于所述搜索主题的链接价值，作为未来回报价值，包括：

将所述概率作为权值，计算所述有效网页中每个网页链接相对于所述搜索主题的链接价值。

进一步的，所述方法还包括：

在预定的时间段内，提取所述页面数据库中立即价值满足第三预设条件的有效网页；

根据提取到的有效网页及所述有效网页中网页链接的未来回报价值，更新所述贝叶斯分类器中的分类。

另一方面，本发明实施例还提供了一种基于主题网络爬虫的搜索装置，所述装置包括：

第一提取单元，用于从与给定搜索主题相关的网页地址集中提取一个网页地址；

第二提取单元，用于获取所述网页地址对应的有效网页；

获取单元，用于对所述有效网页进行分析，得到有效网页内容；

第一添加单元，用于根据所述有效网页内容，计算所述有效网页与所述搜索主题在语义上的相关度，作为所述有效网页的立即价值，当所述有效网页的立即价值符合第一预设条件时，将所述有效网页及其包含的网页链接作为搜索结果添加到页面数据库；

第二添加单元，用于当所述有效网页链接的立即价值不符合第一预设条件时，计算所述有效网页中的网页链接相对于所述搜索主题的链接价值，作为所述网页链接的未来回报价值，当所述网页链接的未来回报价值符合第二预设条件时，将所述网页链接添加到所述网页地址集中。

进一步的，所述获取单元，包括：

分析子单元，用于对所述有效网页进行超文本标记语言HTML语法分析；

获取子单元，用于根据所述HTML语法分析结果，提取所述有效网页对应的内容，作为有效网页内容。

进一步的，所述第一添加单元具体用于：

计算所述有效网页在贝叶斯分类器每一类中对应的概率，所述贝叶斯分类器为根据所述页面数据库中有效网页包含的网页链接的未来回报价值的大小形成的分类；

将所述概率作为权值，计算所述有效网页与所述搜索主题在语义上的相关度。

进一步的，所述第二添加单元具体用于：