[发明专利]一种大数据处理方法及装置

说明书

本发明公开了一种大数据处理方法及装置，涉及数据处理技术领域，主要目的在于实现通过同一种语言实现多个不同类型数据库的数据处理。本发明主要的技术方案为：获取客户端采用预设语言编辑的数据库作业请求；解析所述数据库作业请求中需要访问的目标数据库；根据所述目标数据库的类型判断所述目标数据库是否可识别采用预设语言编辑的请求语句；若否，则将所述请求语句转换为所述目标数据库可识别的语句，并将转换后的语句发送至所述目标数据库；接收所述目标数据库反馈的请求数据，并根据所述请求数据生成所述数据库作业请求对应的请求结果。本发明用于多个不同数据库的数据处理。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种大数据处理方法及装置。

背景技术

大数据包括结构化、半结构化和非结构化数据，其海量数据通常来源于各种各样的关系型数据库，非关系型数据库，应用日志数据和应用埋点数据等。为了适应不同业务应用场景，大数据中数据库呈现种类多样化的特点，常用数据库有MySQL、HIVE、ElasticSEarch、ClickHouse、Hbase、TIDB、Kylin等，因此，数据分析师以及数据开发人员需要通过不同的语言和不同的管理连接工具才能完成对于大数据的数据查询和数据分析。

目前，由于大数据通常在不同的数据库中通过各自的管理工具、连接工具和客户端来完成数据查询和数据分析，因此，数据分析师以及数据开发人员通常采用针对不同的数据库开发相应的不同的数据库管理和连接工具用以完成针对不同数据库的数据查询和数据分析的作业。

但是，由于数据分析师以及数据开发人员需要投入过多的精力和时间去开发不同的数据库管理和连接工具，因此，现有技术存在开发周期长的缺点。

发明内容

鉴于上述问题，本发明提供一种大数据处理方法及装置，主要目的是为了实现通过同一种语言实现多个不同类型数据库的数据处理。

为解决上述技术问题，本发明提出以下方案：

第一方面，本发明提供一种大数据处理方法，所述方法包括：

获取客户端采用预设语言编辑的数据库作业请求；

解析所述数据库作业请求中需要访问的目标数据库；

根据所述目标数据库的类型判断所述目标数据库是否可识别采用预设语言编辑的请求语句；

若否，则将所述请求语句转换为所述目标数据库可识别的语句，并将转换后的语句发送至所述目标数据库；

接收所述目标数据库反馈的请求数据，并根据所述请求数据生成所述数据库作业请求对应的请求结果。

优选地，在所述将转换后的语句发送至所述目标数据库之前，所述方法还包括：

获取客户端发送的确认所述目标数据库连接状态的检测请求；

检测与所述目标数据库的连接状态；

根据所述目标数据库连接状态判断是否重新连接所述目标数据库；

若所述目标数据库为未连接状态，则重新连接所述目标数据库。

优选地，所述目标数据库为多个时，所述接收所述目标数据库反馈的请求数据，并根据所述请求数据生成所述数据库作业请求对应的请求结果，包括：

接收多个目标数据库反馈的不同请求数据；

将所述反馈的不同所述请求数据分别保存到不同的预设维度阵列；

将所述不同的预设维度阵列按照预设关联字段通过预设关联规则生成所述数据库作业请求对应的请求结果。

优选地，所述目标数据库为多个时，在根据所述目标数据库的类型判断所述目标数据库不是可识别采用预设语言编辑的请求语句之后，所述方法还包括：