[发明专利]一种用于确定网络资源点的抓取频率的方法和装置

说明书

技术领域

本发明涉及搜索领域，具体涉及一种用于确定网络资源点的抓取频率的装置和方法。

背景技术

随着互联网的发展，网络成为人们获取信息、交流信息的重要渠道，网络搜索成为人们获取信息的重要手段。网络搜索需要确定网络资源点的抓取频率，现有技术（例如，爬虫蜘蛛）确定网络资源点抓取频率的方法，更多地依赖于对网络资源点的链接的分析，很少涉及对网络资源点活跃度的分析和使用，所确定的抓取频率的精确性和时效性不强。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种用于确定网络资源点的抓取频率的装置和相应的一种用于确定网络资源点的抓取频率的方法。

依据本发明的一个方面，提供了一种用于确定网络资源点的抓取频率的装置，该装置包括：信息抓取单元，适于抓取多个网络资源点的数据信息；操作数获取单元，适于对每个网络资源点，筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据；等级属性获取单元，适于根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性；抓取频率确定单元，适于根据所述网络资源点的活跃度等级属性确定所述网络资源点的抓取频率。

可选地，所述抓取频率确定单元，适于以所述网络资源点的活跃度等级属性作为所述网络资源点的抓取频率；或，使用蜘蛛爬虫获取所述网络资源点的初始抓取频率，使用所述网络资源点的活跃度等级属性调整所述初始抓取频率而确定所述网络资源点的抓取频率。

可选地，所述操作数获取单元，适于获取在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。

可选地，所述操作数获取单元，适于对该网络资源点的每条信息，判断该条信息是否为有效信息，若判断为否，则删除该条信息，若判断为是，则进一步抽取在该第一时间段内该信息被访问的次数，和/或，在该第一时间段内网络使用者针对该信息给出反馈的次数；和/或，在对该网络资源点的全部信息进行其是否为有效信息的判断后，获取在该第一时间段内新增的有效信息的数目。

可选地，所述操作数获取单元，适于对每条信息抽取该信息的正文，使用质量评价模型评估所述正文的质量，判断所述正文的质量是否合格，若判断为是，则该信息是有效信息，若判断为否，则该信息不是有效信息。可选地，所述信息抓取单元，进一步适于获取所述多个网络资源点所属的类别并根据类别将所述多个网络资源点分组；所述等级属性获取单元，适于计算属于同一分组的所述网络资源点的有效交互数据的平均值作为该分组的平均有效交互数据；以及根据各个网络资源点的有效交互数据和其所属分组的平均有效交互数据，计算该网络资源点的活跃度等级属性。

根据本发明的另一方面，提供了一种用于确定网络资源点的抓取频率的方法，该方法包括：抓取多个网络资源点的数据信息；对每个网络资源点，筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据；根据所述有效交互数据计算所述多个网络资源点的活跃度等级属性；根据所述网络资源点的活跃度等级属性确定所述网络资源点的抓取频率。

可选地，所述根据所述网络资源点的活跃度等级属性确定所述网络资源点的抓取频率，包括：以所述网络资源点的活跃度等级属性作为所述网络资源点的抓取频率；或，使用蜘蛛爬虫获取所述网络资源点的初始抓取频率，使用所述网络资源点的活跃度等级属性调整所述初始抓取频率而确定所述网络资源点的抓取频率。

可选地，所述网络资源点在预定的一段第一时间段内的有效交互数据包括在该第一时间段内的该网络资源点的新增的有效信息的数目、在该第一时间段内所述有效信息被访问的次数以及在该第一时间段内网络使用者针对所述有效信息给出反馈的次数中的至少一个。

可选地，所述筛选该网络资源点的有效信息以及根据所述有效信息获取在预定的一段第一时间段内的有效交互数据，具体包括：对该网络资源点的每条信息，判断该条信息是否为有效信息，若判断为否，则删除该条信息，若判断为是，则进一步抽取在该第一时间段内该信息被访问的次数，和/或，在该第一时间段内网络使用者针对该信息给出反馈的次数；和/或，在对该网络资源点的全部信息进行其是否为有效信息的判断后，获取在该第一时间段内新增的有效信息的数目。