[发明专利]一种订单数据索引方法、系统、计算机设备以及存储介质

说明书

本发明提供的一种订单数据索引方法、系统、计算机设备以及存储介质，方案方法包括：根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据；生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表；对所述数据服务层宽表划分得到若干分区；获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据；方案通过列式存储以及分布式计算服务来提高订单数量过大情况下的订单数据查询慢的效率，相对于传统数据库，可以做到秒级实时查询，查询速度更快且响应速度更快，可广泛应用于计算机技术领域。

技术领域

本发明属于计算机技术领域，尤其是一种订单数据索引方法、系统、计算机设备以及存储介质。

背景技术

随着移动互联网的发展，人们拥有日益增多的网络购物需求。电商平台随着交易量以及业务逻辑不断复杂，订单和客户逻辑关系会产生大量的数据，在传统数据技术模式下，一般使用关系型数据库管理系统MySQL作为存储引擎。MySQL在数据量级较小的情况下，可以满足业务的正常扭转。但是在现有的数据查询的方案中，数据量一旦过大，则会出现查询速度变慢，数据产品响应速度迟缓，造成用户订单卡死，数据分析卡死等情况。

发明内容

有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种更为便捷、更为高效迅速的能够应对数据并发的订单数据索引方法、系统、设备以及存储介质。

第一方面，本申请的技术方案提供了一种订单数据索引方法，其步骤包括：

根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据；

生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表；

对所述数据服务层宽表划分得到若干分区；

获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据。

在本申请方案的一种可行的实施例中，订单数据索引方法还包括：

获取存储时长大于所述时间阈值的第二订单数据，将所述第二订单数据进行离线清洗；

根据所述第二订单数据的第二字段属性与所述第一订单数据中第一字段属性的映射关系生成数据服务层宽表；

根据所述细节数据宽表中的订单数据进行聚类得到若干数据服务层宽表。

在本申请方案的一种可行的实施例中，所述生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类，包括以下步骤：

根据所述日志文件生成所述第一订单数据的原关键字，将所述原关键字与第一字符进行组合得到所述主关键字；

所述第一字符是通过所述第一订单数据的哈希值以及所述分区数量所计算得到的。

在本申请方案的一种可行的实施例中，在生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表这一步骤之前，所述方法还包括：

获取所述第一订单数据，对所述第一订单数据进行脱敏处理；

所述脱敏处理包括以下步骤：

将所述第一订单数据中的用户信息替换成符号字符串；

根据所述映射关系对所述第一订单数据中的字段进行筛选。

在本申请方案的一种可行的实施例中，在所述将离线清洗后的所述第二订单数据与所述第一订单数据构建得到细节数据宽表这一步骤之后，所述方法还包括以下步骤至少之一：

将所述细节数据宽表中的订单数据进行规范化处理，统一所述订单数据的数据格式；