[发明专利]一种零售交易数据在线分析方法、装置及电子设备

说明书

本发明公开了一种零售交易数据在线分析方法、装置及电子设备。所述方法包括如下步骤：针对零售交易数据的数据量及查询场景配置表引擎，并通过内存排序进行有序存储以加速零售交易数据查询；根据零售交易数据的数据特点及使用场景，对NULL值和低基数特征字段进行优化；通过Hash算法将零售交易数据中字符串类型字段转码为数值类型字段后执行去重操作；在零售交易数据的每次写入或合并分区时轮询写入各个磁盘，以增加数据并行读写能力；以及响应于用户在分析平台的维度自选和指标自选操作，提供相应粒度和指标的数据以供用户进行零售交易数据在线分析。本发明能够有针对性的解决各种不同性能要求的查询场景，可以很好地适应及满足用户的数据分析需求。

技术领域

本发明涉及计算机技术领域，尤其涉及一种零售交易数据在线分析方法、装置及电子设备。

背景技术

为了能够多维度视角、一致、交互地分析、洞察海量业务数据，以达到深入理解业务效果和业务发展机会的目的，业务用户需要从时间、渠道、门店、品类等多个维度，分析订单、业绩、顾客数等数据指标，并进行自由维度组合及大时间跨度等复杂场景下的在线分析。

目前在线分析使用的一般是商用Mpp数据库Vertica作为数据分析引擎，使用商用BI工具进行数据分析。在面对分析计算到时间跨度为年的级别数据集时，现有在线分析产品基本无法满足用户交互使用的场景需求。作为临时方案只能在底层表存储少量时间内的数据，且限制用户只能查询最近时间段的数据。对于用户业务分析和洞察需要分析到一段较长时间内的业务数据，甚至需要往年或更早之前的数据的应用场景来说，现有在线分析产品难以满足用户的使用场景需要。

发明内容

本发明的目的在于，提供一种零售交易数据在线分析方法、装置及电子设备，能够有针对性的解决各种不同性能要求的查询场景。

为了实现上述目的，本发明提供了一种零售交易数据在线分析方法，包括如下步骤：针对零售交易数据的数据量及查询场景配置表引擎，并通过内存排序进行有序存储以加速零售交易数据查询；根据零售交易数据的数据特点及使用场景，对NULL值和低基数特征字段进行优化；通过Hash算法将零售交易数据中字符串类型字段转码为数值类型字段后执行去重操作；在零售交易数据的每次写入或合并分区时轮询写入各个磁盘，以增加数据并行读写能力；以及响应于用户在分析平台的维度自选和指标自选操作，提供相应粒度和指标的数据以供用户进行零售交易数据在线分析。

在一些实施例中，所述方法进一步包括：在零售交易数据聚合时，将聚合中间结果存放在内存中，并在聚合溢出时所述将聚合中间结果存储在硬盘上。

为了实现上述目的，本发明还提供了一种零售交易数据在线分析装置，包括：配置模块，用于针对零售交易数据的数据量及查询场景配置表引擎，并通过内存排序进行有序存储以加速零售交易数据查询；优化模块，用于根据零售交易数据的数据特点及使用场景，对NULL值和低基数特征字段进行优化；去重模块，用于通过Hash算法将零售交易数据中字符串类型字段转码为数值类型字段后执行去重操作；轮询模块，用于在零售交易数据的每次写入或合并分区时轮询写入各个磁盘，以增加数据并行读写能力；以及交互模块，用于响应于用户在分析平台的维度自选和指标自选操作，提供相应粒度和指标的数据以供用户进行零售交易数据在线分析。

在一些实施例中，所述装置进一步包括：聚合存储模块，用于在零售交易数据聚合时，将聚合中间结果存放在内存中，并在聚合溢出时所述将聚合中间结果存储在硬盘上。

为了实现上述目的，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行程序，所述处理器执行所述计算机可执行程序时实现本发明所述的零售交易数据在线分析方法的步骤。