[发明专利]数据处理方法及设备

说明书

本申请的目的是提供一种数据处理设备及设备，通过SQL来对接非关系型主键‑属性列数据的方法，用户在保留了自行更新数据，进行级别的数据写入与覆盖等非关系型数据操作优势之外，可以利用非关系型数据在表概念上与SQL数据库上的相似性，以及SQL的强表达能力，快速实现对海量非关系型数据进行分析计算。

技术领域

本申请涉及计算机领域，尤其涉及一种数据处理方法及设备。

背景技术

NoSQL是非关系型数据库中的一种。NoSQL数据存储通指在通过key-value(主键-属性列)来实现的分布式存储服务。因为NoSQL采用key-value的存储关系，所以与传统关系型SQL(结构化查询语言，Structured Query Language)数据存储方式有较大的不同。非关系型数据存储比较显著的例子有Google的BigTable、开源的HBase以及阿里云的TableStore(OTS)等等，其中，TableStore(OTS)是阿里云的一个非关系型数据存储服务。这种存储的每个记录单元通过一个Key来唯一指定，可以通过Key来迅速定位并访问一条记录。对数据的操作，包括插入、覆盖和更新等均可以在记录级别完成。

NoSQL非关系型数据库在数据模型和技术实现上与传统关系型数据库，以及通常的分布式数据库都有较大的区别。虽然其数据模型也是以表为中心的，表有行和列的概念，但是与传统关系型数据库不一样，NoSQL非关系型数据库的表是稀疏的，每一行可以有不同的列，可以动态增加或者减少数据列，建表时不需要为表定义严格的schema(数据库对象的集合)。由于其在行级别上的实时更新和可覆盖性写入等特性，为在线数据更新等应用场景提供了便利。但是因为NoSQL非关系型数据库本身作为存储服务，缺乏计算能力。对于NoSQL非关系型数据的处理，尤其是批量的大规模处理，缺乏好的解决方案。

现有的对于这种NoSQL非关系型数据的计算处理，原先只能通过用户自己根据NoSQL非关系型数据的SDK(软件开发工具包)编写单机程序进行分析。这样的单机分析，除了无法处理大规模的数据之外，而且在进行数据分析的时候，需要自行通过java、c++等通用的编程语言实现等价的SQL逻辑(算子的语义)，不仅纷繁复杂，而且缺乏可扩展性。

发明内容

本申请的一个目的是提供一种数据处理方法及设备，能够解决现有的非关系型数据库自身计算能力不足的问题。

根据本申请的一个方面，提供了一种数据处理方法，该方法包括：

获取访问非关系型数据库的SQL查询请求；

根据所述非关系型数据库与SQL查询请求的关联关系，从所述非关系型数据库获取所述SQL查询请求对应的非关系型数据，并将获取到的非关系型数据转换为SQL数据，以对所述SQL数据进行计算处理。

进一步的，上述方法中，所述非关系型数据库与SQL查询请求的关联关系包括：

SQL查询请求对应访问的非关系型数据库存储的地址；

非关系型数据库中SQL查询请求对应访问的表的名称；

所述表中访问的列，所述列对应非关系型数据的主键或属性列；

所述访问的列的读逻辑；

所述访问的列与SQL数据格式中的列的映射关系。

进一步的，上述方法中，根据所述非关系型数据库与SQL查询请求的关联关系，从所述非关系型数据库获取所述SQL查询请求对应的非关系型数据，并将获取到的非关系型数据转换为SQL数据，包括：

根据SQL查询请求对应访问的非关系型数据库存储的地址和非关系型数据库中SQL查询请求对应访问的表的名称，找到所述非关系型数据库中对应的表；

根据所述访问的列及访问的列的读逻辑，从所述表中的对应列中读取非关系型数据；