[发明专利]倒排索引查询的资源分配方法、装置及存储介质、服务器

说明书

本发明涉及分布式软件处理技术领域，具体涉及本发明实施例提供的一种倒排索引查询的资源分配方法包括：获取待分配用户数据，基于用户维度和哈希函数对所述待分配用户数据分桶标记，获得包括用户数据且具有标记后的桶；获取待查询语句，通过预设拆分规则将所述待查询语句拆分为数量小于或者等于所述桶数量的子查询语句；将所述子查询语句和所述桶进行关联，通过子查询语句对关联的桶进行查询。将海量的用户数据进行分桶，同时将待查询语句拆分为多个查询语句并附加上桶的标记，对应的语句仅在对应的桶中查询，降低查询分析过程占用的系统资源，查询范围减少，使得查询过程仅在一个固定的范围内查询，缩短了查询的时间。

技术领域

本发明涉及分布式软件处理技术领域，具体涉及一种倒排索引查询的资源分配方法、装置及存储介质、服务器。

背景技术

随着网络技术的不断提高对信息的分析、提取和处理的速度成倍提升，在查询海量用户倒排信息时，即在海量数据中通过用户标签查询符合条件的目标用户，需要在用户量巨大的数据中找出目标用户。另外，在业务方查询的语句过长，及时能够通过分布式部署的集群机器里面进行语句查询，也会在段时间内占据大量的系统资源，导致其他业务不能够利用系统资源，导致整个集群的业务量不高。

发明内容

为克服以上技术问题，特别是通过用户标签查询目标数据是占用大量系统资源，导致其他业务不能够利用系统资源的问题，特提出以下技术方案：

本发明实施例提供的一种倒排索引查询的资源分配方法，包括：

获取待分配用户数据，基于用户维度和哈希函数对所述待分配用户数据分桶标记，获得包括用户数据且具有标记后的桶；

获取待查询语句，通过预设拆分规则将所述待查询语句拆分为数量小于或者等于所述桶数量的子查询语句；

将所述子查询语句和所述桶进行关联，通过子查询语句对关联的桶进行查询。

进一步地，在所述获取待查询语句的步骤中，具体包括：

基于业务方身份信息和所述待查询语句，获取包括多个业务方的所述待查询语句。

进一步地，在所述通过子查询语句对关联的桶进行查询的步骤中，具体包括：

将多个业务方的所述待查询语句的子查询语句，并发在同一个所述桶中进行查询。

进一步地，在所述获取待查询语句的步骤中，具体包括：

基于业务方身份信息和所述待查询语句，获取同一个业务方的所述待查询语句。

进一步地，在所述通过子查询语句对关联的桶进行查询的步骤中，具体包括：

获取同一业务方的所述待查询语句的数量；

在同一业务方的所述待查询语句的数量大于1时，将同一业务方的所述待查询语句的全部子查询语句排队在同一个所述桶中进行查询。

进一步地，在所述通过子查询语句对关联的桶进行查询的步骤之后，还包括：

将同一业务方的同一所述待查询语句的查询结果合并，获得同一业务方对用户数据的查询结果。

进一步地，在所述获得同一业务方对用户数据的查询结果的步骤之后，包括：

将所述查询结果发送给流式处理引擎进行数据处理。

进一步地，所述预设拆分规则包括串行化拆分规则。

本发明实施例提供的一种倒排索引查询的资源分配装置，包括：

标记模块，用于获取待分配用户数据，基于用户维度和哈希函数对所述待分配用户数据分桶标记获得包括用户数据且具有标记后的桶；