[发明专利]数据处理方法及装置

说明书

本公开涉及一种数据处理方法及装置，所述方法应用于Spark中的驱动器，所述方法包括：接收到插入SQL语句时，对所述插入SQL语句进行解析，生成插入逻辑计划树；若所述插入逻辑计划树与加密规则匹配，则创建加密节点，并将所述加密节点插入到所述插入逻辑计划树的插入节点之前，得到加密逻辑计划树；将所述加密逻辑计划树转换为加密物理计划树，并将所述加密物理计划树发送至Spark中的执行器。通过在插入数据前对数据进行加密，根据本公开实施例的数据处理方法及装置能够在SparkSQL中实现数据加密功能。

技术领域

本公开涉及大数据技术领域，尤其涉及一种数据处理方法及装置。

背景技术

Spark是基于内存的分布式计算框架。Spark提供一站式数据分析能力，包括小批量流式处理、离线批处理、SQL(Structured Query Language，结构化查询语言)查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Spark提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。

SparkSQL是一种基于Spark的分布式SQL引擎，是一个用来处理结构化数据的Spark组件，支持SQL语句，使得用户能够以SQL的方式快速方便的运行Spark计算任务。

相关技术中，SparkSQL不具有对数据进行加密的功能，这样用户在使用Spark API或者Spark SQL操作数据时，无法保证敏感数据(例如联系方式、密码等信息)的安全性，当数据文件泄露时，用户敏感信息就会被泄露，降低了信息的安全性。

发明内容

有鉴于此，本公开提出了一种数据处理方法及装置，能够在SparkSQL中实现数据加密功能。

根据本公开的第一方面，提供了一种数据处理方法，所述方法应用于Spark中的驱动器，所述方法包括：接收到插入SQL语句时，对所述插入SQL语句进行解析，生成插入逻辑计划树；若所述插入逻辑计划树与加密规则匹配，则创建加密节点，并将所述加密节点插入到所述插入逻辑计划树的插入节点之前，得到加密逻辑计划树；将所述加密逻辑计划树转换为加密物理计划树，并将所述加密物理计划树发送至Spark中的执行器。

根据本公开的第二方面，提供了一种数据处理方法，所述方法应用于执行器，所述方法包括：接收到加密物理计划树时，通过RDD创建算子获取待插入数据，并将所述待插入数据加载为第一RDD；通过map算子将所述第一RDD的各行数据分割成列；通过加密算子，对分割后的第一RDD中待加密的列进行加密，得到加密的第一RDD；通过行动算子将所述加密的第一RDD存储在插入表中。

根据本公开的第三方面，提供了一种数据处理装置，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第一方面的方法。

根据本公开的第四方面，提供了一种数据处理装置，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述处理器执行所述机器可执行指令以实现上述第二方面的方法。

在本公开实施例中，接收到插入SQL语句时，对插入SQL语句进行解析，生成插入逻辑计划树；当所述插入逻辑计划树与加密规则匹配时，创建加密节点，并将所述加密节点插入到所述插入逻辑计划树的插入节点之前，这样，能够在插入数据前对数据进行加密，从而在SparkSQL中实现数据加密功能。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的数据处理方法的流程图。