[发明专利]一种零售交易数据在线分析方法、装置及电子设备

权利要求书

1.一种零售交易数据在线分析方法，其特征在于，包括如下步骤：

针对零售交易数据的数据量及查询场景配置表引擎，并通过内存排序进行有序存储以加速零售交易数据查询；

根据零售交易数据的数据特点及使用场景，对NULL值和低基数特征字段进行优化；

通过Hash算法将零售交易数据中字符串类型字段转码为数值类型字段后执行去重操作；

在零售交易数据的每次写入或合并分区时轮询写入各个磁盘，以增加数据并行读写能力；以及

响应于用户在分析平台的维度自选和指标自选操作，提供相应粒度和指标的数据以供用户进行零售交易数据在线分析。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

采用ClickHouse作为基础底层数据引擎，并选用ClickHouse的ReplicatedMergeTree作为所述表引擎。

3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：在ClickHouse代理层进行数据缓存。

4.根据权利要求1所述的方法，其特征在于，所述的对NULL值和低基数特征字段进行优化的步骤进一步包括：

对NULL值在数据加工时设置默认值；以及

对低基数特征字段采用LowCardinality数据类型进行优化。

5.根据权利要求1所述的方法，其特征在于，所述字符串类型字段包括订单ID字段、用户ID字段；所述的通过Hash算法将零售交易数据中字符串类型字段转码为数值类型字段后执行去重操作的步骤进一步包括：

通过Hash64函数将所述订单ID字段以及所述用户ID字段转码为数值类型字段；

对转码后的数值类型字段进行等值比较以完成去重。

6.根据权利要求1所述的方法，其特征在于，所述的在零售交易数据的每次写入或合并分区时轮询写入各个磁盘的步骤进一步包括：

采用JBOD数据存储策略以在零售交易数据的每次写入或合并分区时轮询写入各个磁盘。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在零售交易数据聚合时，将聚合中间结果存放在内存中，并在聚合溢出时所述将聚合中间结果存储在硬盘上。

8.一种零售交易数据在线分析装置，其特征在于，包括：

配置模块，用于针对零售交易数据的数据量及查询场景配置表引擎，并通过内存排序进行有序存储以加速零售交易数据查询；

优化模块，用于根据零售交易数据的数据特点及使用场景，对NULL值和低基数特征字段进行优化；

去重模块，用于通过Hash算法将零售交易数据中字符串类型字段转码为数值类型字段后执行去重操作；

轮询模块，用于在零售交易数据的每次写入或合并分区时轮询写入各个磁盘，以增加数据并行读写能力；以及

交互模块，用于响应于用户在分析平台的维度自选和指标自选操作，提供相应粒度和指标的数据以供用户进行零售交易数据在线分析。

9.根据权利要求8所述的装置，其特征在于，所述装置进一步包括：

聚合存储模块，用于在零售交易数据聚合时，将聚合中间结果存放在内存中，并在聚合溢出时所述将聚合中间结果存储在硬盘上。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，其特征在于，所述处理器执行所述计算机可执行程序时实现如权利要求1～7任一项所述的零售交易数据在线分析方法的步骤。