[发明专利]数据采集资源量控制方法、装置、设备及存储介质

说明书

本发明实施例提供一种数据采集资源量控制方法、装置、设备及存储介质，属于互联网信息技术领域，该方法包括：获取任一采集对象预设时间内的采集数据量、采集数据中与预设热点匹配的数据量及采集得到的数据浏览量，并读取各历史采集周期及本采集周期的分配资源数；根据预设的期望采集周期及至少一个历史采集周期，确定任一采集对象的采集状态；根据匹配的数据量、数据浏览量、采集数据量、期望采集周期，计算任一采集对象的综合热度；根据任一采集对象的采集状态、历史采集周期、期望采集周期、综合热度及当前分配资源数，确定任一采集对象的目标资源数；分配目标资源数的资源获取任一采集对象的数据。本申请解决了获取的数据时效性差的问题。

技术领域

本发明属于互联网信息技术领域，具体涉及一种数据采集资源量控制方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展，以及经济、文化的信息化的逐渐加深，人们希望更快的获得重要事件的相关资讯。

现有技术中，为了获取新鲜的资讯等数据，通常采用固定的资源获取指定网站中数据的方式获取热度较高的资讯数据。

然而，发明人发现现有技术至少存在如下技术问题：由于各网站的数据会随时变化，所以采用固定的资源获取指定网站中的数据会导致获取的数据不是最新数据，存在时效性差的问题。

发明内容

本申请提供一种数据采集资源量控制方法、装置、设备及存储介质，用以解决获取的数据时效性差的问题。

第一方面，本发明提供一种数据采集资源量控制方法，包括：

获取任一采集对象对应的预设时间内的采集数据量、采集数据中与预设热点匹配的数据量及采集得到的数据浏览量，并读取任一采集对象对应的预先存储的各历史采集周期及本采集周期的分配资源数，其中采集对象包括网址，采集数据包括采集得到的网址中的内容，历史采集周期为本采集周期以前的任一采集周期；根据预设的期望采集周期及至少一个历史采集周期，确定任一采集对象的采集状态；根据匹配的数据量、数据浏览量、采集数据量及期望采集周期，计算任一采集对象的综合热度；根据任一采集对象的采集状态、历史采集周期、期望采集周期、综合热度及分配资源数，确定任一采集对象的目标资源数；分配目标资源数的资源获取任一采集对象的数据。

在一种可能的实现方式中，根据预设的期望采集周期及至少一个历史采集周期，确定任一采集对象的采集状态，包括：将任一采集对象的至少一个历史采集周期的平均值减去期望采集周期，得到周期差值；若周期差值与期望采集周期的比值大于或等于第一预设值，则将任一采集对象的采集状态确定为破线状态；若周期差值与期望采集周期的比值小于或等于第二预设值，则将任一采集对象的采集状态确定为空闲状态；若周期差值与期望采集周期的比值小于第一预设值且大于第二预设值，则将任一采集对象的采集状态确定为正常状态。

在一种可能的实现方式中，根据匹配的数据量、数据浏览量、采集数据量及期望采集周期，计算任一采集对象的综合热度，包括：根据匹配的数据量、数据浏览量及采集数据量，计算任一采集对象的历史热度；将预设个数的历史采集周期确定为一个记录周期；将第一记录周期结束时的采集数据量减第一记录周期开始时的采集数据量，得到第一记录周期的采集数据量，其中第一记录周期为当前时间之前的第N个记录周期，其中N为正整数；将第二记录周期结束时的采集数据量减第二记录周期开始时的采集数据量，得到第二记录周期的采集数据量，第二记录周期为当前时间之前的第N+1个记录周期；将第一记录周期的采集数据量减第二记录周期的采集数据量，得到新增数据量；将新增数据量除以期望采集周期并取对数，得到任一采集对象的实际热度；将历史热度及实际热度以预设方式分别映射进预设区间内，得到映射历史热度及映射实际热度；将映射历史热度和映射实际热度加权求和，得到任一采集对象的综合热度。

在一种可能的实现方式中，根据匹配的数据量、浏览量及采集数据量，计算任一采集对象的历史热度，采用的公式如下：