[发明专利]抽取对象确定及数据刷新方法、系统、设备和存储介质

说明书

本发明公开了一种抽取对象确定及数据刷新方法、系统、设备和存储介质。其中，抽取对象确定方法包括：确定待选的若干对象，每个对象对应一个权重值，所述权重值的取值与所述对象被抽中的概率正相关；将相同权重值的对象聚合存储为一个集合；在权重值上构建索引，相同的权重值在所述索引中所占的长度值等于所述权重值乘以对应集合中的对象数；在所述索引中随机选取一个索引值，找到被选取的索引值对应的权重值，查询被找到的权重值对应的集合；从所查询到的集合中随机获取一个对象作为抽取对象。本发明在确定抽取对象时既不会在运行时占用过多的临时存储空间，又能减少运行时间。

技术领域

本发明属于计算机领域，尤其涉及一种抽取对象确定及数据刷新方法、系统、设备和存储介质。

背景技术

互联网、大数据计算等领域经常涉及海量数据，如何快速高效地处理海量数据是技术人员所关注的。例如，在OTA(在线旅行社)中，网站需要经常更新各酒店供应商提供的酒店数据，由于数据量较多，一次性更新所有酒店数据可能会使服务器承受很大的负担，也可能受限于QPS(每秒查询率)而无法快速获取到所有酒店数据。

为了避免上述问题，一种较为常见的做法是选择性地从所有酒店数据中挑选部分数据分步更新。将所有的酒店数据看作一个包含海量数据元素的集合，每个元素对应一个权重，利用加权随机算法抽取部分数据进行更新。然而，目前的加权随机算法在实现时时间复杂度与空间复杂度不能同时兼顾，要么在运行过程中临时占用的存储空间较大，要么运行时间较长。

发明内容

本发明要解决的技术问题是为了克服依赖现有的加权随机算法抽取对象时占用的存储空间大、运行时间长的缺陷，提供一种抽取对象确定及数据刷新方法、系统、设备和存储介质。

本发明是通过以下技术方案解决上述技术问题的：

一种抽取对象确定方法，包括：

确定待选的若干对象，每个对象对应一个权重值，所述权重值的取值与所述对象被抽中的概率正相关；

将相同权重值的对象聚合存储为一个集合；

在权重值上构建索引，相同的权重值在所述索引中所占的长度值等于所述权重值乘以对应集合中的对象数；

在所述索引中随机选取一个索引值，找到被选取的索引值对应的权重值，查询被找到的权重值对应的集合；

从所查询到的集合中随机获取一个对象作为抽取对象。

较佳地，采用均匀随机算法在所述索引中随机选取一个索引值。

较佳地，通过二分法找到被选取的索引值对应的权重值。

一种数据刷新方法，包括：

确定数据刷新范围，所述数据刷新范围包括若干对象的数据，所述对象被抽中的概率与所述对象的数据变化频率正相关；

以所述数据刷新范围内的对象为待选的对象，利用如上所述的抽取对象确定方法确定抽取对象；

通过访问数据接口获取所述抽取对象的数据；

将所述抽取对象的数据缓存在数据缓存单元并替换所述数据缓存单元中所述抽取对象原有的数据。

一种抽取对象确定系统，包括：

对象确定模块，用于确定待选的若干对象，每个对象对应一个权重值，所述权重值的取值与所述对象被抽中的概率正相关；

对象聚合模块，用于将相同权重值的对象聚合存储为一个集合；

索引构建模块，用于在权重值上构建索引，相同的权重值在所述索引中所占的长度值等于所述权重值乘以对应集合中的对象数；