[发明专利]数据库的数据读取系统及方法、装置、电子设备

说明书

本发明涉及大数据领域，公开了一种数据库的数据读取系统及方法、装置、电子设备，包括：数据请求端和数据服务端，数据服务端包括数据中转模块和至少一个数据库，其中，数据请求端，用于向数据服务端发送访问目标数据的第一数据请求；数据中转模块，封装于数据服务端的业务逻辑层，用于基于第一数据请求和数据库信息表生成向目标数据库访问目标数据的第二数据请求；数据库，用于接收数据中转模块发送的第二数据请求，以响应第二数据请求将目标数据发送至数据中转模块，由数据中转模块返回至数据请求端。通过本发明，解决了相关技术中读取服务端数据库中数据效率低的技术问题。

技术领域

本发明涉及大数据领域，具体而言，涉及一种数据库的数据读取系统及方法、装置、电子设备。

背景技术

相关技术中，由于实际生产环境中一个项目往往集成了多种底层数据库，如hdfs、hive、mysql、hbase等，实际上的计算任务需要对接多种底层数据库，从多个底层数据库中读取数据，然后对读取的数据进行计算等各种操作。在实际的对接过程中存在以下几个缺陷：1)不同的计算任务都需要对接多种底层数据库，每个底层数据库都有自己对应的数据读取接口，导致每对接一种底层数据库，就要增加一份数据库接口请求代码，随着数据库种类的增多，用于请求不同种类数据库的代码会越来越多，使得程序变得十分臃肿，不方便代码维护；每个计算任务中都会有接口请求代码，造成了代码重复，而代码重复就会影响开发效率；2)部分计算任务在对接外部存储时，选择先将所需数据持久化到本地磁盘，然后再从本地磁盘进行读取，过程产生大量磁盘读写操作，效率十分低下；3)计算任务将全部数据读取完成之后，再开始进行处理，导致等待全量数据读取时间过长，较为耗时。因此，现有技术中读取服务端数据库中数据效率低。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种数据库的数据读取系统及方法、装置、电子设备，以至少解决相关技术中读取服务端数据库中数据效率低的技术问题。

第一方面，提供了一种数据库的数据读取系统，该系统包括数据请求端和数据服务端，所述数据服务端包括数据中转模块和至少一个数据库，其中，所述数据请求端，用于向所述数据服务端发送访问目标数据的第一数据请求；所述数据中转模块，封装于所述数据服务端的业务逻辑层，用于基于所述第一数据请求和数据库信息表生成向目标数据库访问所述目标数据的第二数据请求；其中，所述数据库信息表存储于所述数据中转模块，且用于表征所述数据中转模块与所述目标数据库之间对接的映射关系；所述至少一个数据库，用于接收所述数据中转模块发送的第二数据请求，以响应所述第二数据请求将所述目标数据发送至所述数据中转模块，由所述数据中转模块返回至所述数据请求端。

在一种可能的实现方式中，所述数据中转模块还用于：解析所述第一数据请求，以得到所述目标数据的数据描述信息和所述目标数据库的唯一标识码；基于所述数据描述信息和所述唯一标识码查询所述数据库信息表，以确定所述目标数据库的位置信息、访问所述目标数据的目标驱动程序对应的目标驱动类型以及所述目标驱动程序对应的目标驱动版本；根据所述目标驱动类型和所述目标驱动版本加载所述目标驱动程序，以生成所述第二数据请求。

在另一种可能的实现方式中，所述数据中转模块具有数据库查询接口，所述数据中转模块还用于：将所述数据库查询接口发送至所述数据请求端；其中，所述数据请求端用于根据所述数据库查询接口获取所述数据库信息表。

在另一种可能的实现方式中，所述数据中转模块包括内存缓存区，所述数据中转模块还用于：根据所述目标数据的数据量为所述目标数据分配目标内存缓存区；将所述目标数据存储至所述目标内存缓存区；将通过所述目标内存缓存区存储的所述目标数据分批发送至所述数据请求端。