[发明专利]待处理数据的获取方法、装置、服务器和存储介质

说明书

本公开关于一种待处理数据的获取方法、装置、服务器和存储介质，涉及数据处理技术领域，其中，方法包括：接收获取请求，获取请求包括待处理列表的类别；统计待处理列表的当前总待标记量和各分表之中属于类别的待处理数据的当前待标记量；其中，分表为存储各待处理列表之中待处理数据的数据库表；根据待处理列表的当前总待标记量和各分表之中属于类别的待处理数据的当前待标记量，确定各分表之中属于类别的待处理数据的读取数量；根据各分表之中属于类别的待处理数据的读取数量，从各分表中读取相应读取数量的待处理数据。由此，本公开可以从各数据库分表中读取相应数量的待处理数据，解决相关技术中从数据库分表中获取待处理数据不均匀的问题。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种待处理数据的获取方法、装置、服务器和存储介质。

背景技术

通常，为了保证视频内容的安全性，在用户发布视频之前需要对用户上传的每条视频进行处理，例如审核处理，然而，随着短视频业务的不断发展，用户上传的视频量也不断增多。

相关技术中，通过单数据表方式存储视频数据，然而，随着视频量增大，会导致查询效率降低。为了支撑大数据量和高并发的需求，通过数据库分表方式存储视频数据。由于数据库中待处理视频数据往往会分派给多个处理员进行处理，其中每个处理员对应不同的待处理列表，每个待处理列表中具有一定数量的待处理视频数据，然而，当待处理列表众多时，可能存在一直从同一数据库分表中获取待处理数据的情况，从而造成从数据库分表中获取数据不均匀的问题。

发明内容

本公开提供一种待处理数据的获取方法、装置、服务器和存储介质，以至少解决相关技术中从数据库分表中获取待处理数据不均匀的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种待处理数据的获取方法，包括：

接收获取请求，所述获取请求包括待处理列表的类别；

统计所述待处理列表的当前总待标记量和各分表之中属于所述类别的待处理数据的当前待标记量；其中，所述分表为存储各待处理列表之中待处理数据的数据库表；

根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量；

根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据。

在本公开一些实施例中，所述根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量，包括：

根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重；

根据所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重，确定所述各分表之中属于所述类别的待处理数据的读取数量。

在本公开一些实施例中，所述方法还包括：

根据所述各待处理列表的类别和所述各分表的标识，定时从所述各分表中读取每种类别的待处理数据；

将从所述各分表中读取到的每种类别的待处理数据，加载至相应类别的待处理列表的缓存单元中。

在一种可能的实现方式中，所述根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据，包括：

根据所述各分表之中属于所述类别的待处理数据的读取数量，从与所述类别对应的待处理列表的目标缓存单元中，读取所述各分表相应读取数量的待处理数据。