[发明专利]一种主题网页爬取方法及主题爬虫系统

权利要求书

1.一种主题网页爬取方法，其特征在于，包括：

从第一待爬取链接集合中获取未爬取的链接，所述第一待爬取链接集合中包括预先获取的种子链接；

确定获取的链接对应的目标网页对应的第一相关度和第二相关度，所述第一相关度为所述目标网页中的目标链接与指定主题的相关度，所述第二相关度为所述目标网页中的目标文本内容与指定主题的相关度；

根据所述第一相关度和所述第二相关度确定所述目标网页的温度值，并存储所述目标网页的待展示内容，其中，所述温度值能够表征所述目标网页与所述指定主题的相关度；

若所述目标网页的温度值大于或等于第一预设温度值，则将所述目标链接放入第二待爬取链接集合中；

若所述第一待爬取链接集合中不存在未获取过的链接，则从所述第二待爬取链接集合中获取与所述指定主题相关度最高的未爬取的链接，然后执行所述确定获取的链接对应的目标网页对应的第一相关度和第二相关度；

所述确定获取的链接对应的目标网页对应的第一相关度和第二相关度，包括：

根据获取的链接从网络上爬取所述目标网页；

从所述目标网页中提取所述目标文本内容、所述目标链接和所述目标链接对应的锚文本；

基于所述锚文本确定对应的目标链接与所述指定主题的相关度作为所述第一相关度，并确定所述目标文本内容与所述指定主题的相关度作为所述第二相关度；

所述基于所述锚文本确定对应的目标链接与所述指定主题的相关度，包括：

将所述锚文本中的字转换为字向量；

将所述字向量输入预先建立的主题预测模型，获得所述主题预测模型输出的预测结果，其中，所述预测结果用于指示所述锚文本的主题，所述主题预测模型以标注有主题的训练锚文本对应的字向量为训练样本进行训练得到；

确定所述锚文本的主题与所述指定主题的相关度，作为所述锚文本对应的目标链接与所述指定主题的相关度；

预先建立所述主题预测模型的过程，包括：

获取多个标注了主题的锚文本，组成训练锚文本集合；

将所述训练锚文本集合中的训练锚文本中的每个字依次转换为字向量，得到与所述训练锚文本对应的字向量集合，其中，不同字向量之间的距离表征其对应的文字之间的关联性；

将所述训练锚文本对应的字向量集合作为输入，训练双向循环神经网络，将训练得到的双向循环神经网络作为所述主题预测模型。

2.根据权利要求1所述的主题网页爬取方法，其特征在于，所述确定所述目标文本内容与指定主题的相关度，包括：

利用双向长短记忆条件随机场模型对所述目标文本内容进行分词，获得多个词；

通过所述多个词和预先建立的主题判定模块判定所述目标文本内容的主题；

确定所述目标文本内容的主题与所述指定主题的相关度作为所述目标文本内容与所述指定主题的相关度。

3.根据权利要求1所述的主题网页爬取方法，其特征在于，还包括：

将所述第二待爬取链接集合中，与所述指定主题的相关度小于预设相关度、对应的温度值小于第二预设温度值的链接删除。