[发明专利]数据处理方法、装置、存储介质和计算机设备

说明书

本申请涉及一种数据处理方法、装置、存储介质和计算机设备，所述方法包括：获取待处理数据中各个节点及所述各个节点对应的节点数据，其中，所述节点数据包括位置信息和节点值；对所述各个节点和所述各个节点对应的节点数据进行编码，得到编码结果；若所述编码结果中存在节点的节点值为空，从所述编码结果中丢弃所述节点的位置信息，并标记所述节点为空列。本申请提高了嵌套数据的列式存储的编解码效率，降低了编码过程占用的内存资源。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、存储介质和计算机设备。

背景技术

随着大数据的不断发展，以及云计算等新兴技术的不断融合，越来越多的数据流向Hadoop生态圈，同时对于能够快速的从TB级别甚至PB级别的数据中获取有价值的数据对于一个产品来说愈加重要。在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等。

Parquet是一种支持嵌套结构的列式存储格式，采用Dremel编码方式。然而，这种编码方式带有较多的冗余信息，造成编解码效率低等问题。

发明内容

基于此，有必要针对传统的数据处理方式编解码效率低的问题，提供一种数据处理方法、装置、计算机可读存储介质和计算机设备。

一种数据处理方法，所述方法包括：

获取待处理数据中各个节点及所述各个节点对应的节点数据，其中，所述节点数据包括位置信息和节点值；

对所述各个节点和所述各个节点对应的节点数据进行编码，得到编码结果；

若所述编码结果中存在节点的节点值为空，从所述编码结果中丢弃所述节点的位置信息，并标记所述节点为空列。

一种数据处理装置，所述装置包括：

获取模块，用于获取待处理数据中各个节点及所述各个节点对应的节点数据，其中，所述节点数据包括位置信息和节点值；

编码模块，用于对所述各个节点和所述各个节点对应的节点数据进行编码，得到编码结果；

标记模块，用于若所述编码结果中存在节点的节点值为空，从所述编码结果中丢弃所述节点的位置信息，并标记所述节点为空列。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，使得所述处理器执行数据处理方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行数据处理方法的步骤。

上述数据处理方法、装置、计算机可读存储介质和计算机设备，获取待处理数据中各个节点及各个节点对应的节点数据，对各个节点和各个节点对应的节点数据进行编码得到编码结果，若编码结果中存在节点的节点值为空，从编码结果中丢弃节点的位置信息，并标记节点为空列。这种数据处理方法，在编码的过程中标记空节点，在解码的过程中检测到节点被标记，则跳过该节点，减少了需要进行编解码的数据，从而提高了嵌套数据的列式存储的编解码效率，降低了编码过程占用的内存资源。

附图说明

图1为一个实施例中用于实现数据处理方法的终端的内部结构图；

图2为一个实施例中数据处理方法的流程示意图；

图3为一个实施例中行式存储和列式存储的示意图；

图4为一个实施例中嵌套数据的树状结构的示意图；

图5为一个实施例中嵌套数据的列式存储的示意图；