[发明专利]一种数据写入方法、数据读取方法、装置及电子设备

说明书

本发明实施例提供了一种数据写入方法、数据读取方法、装置及电子设备，应用于数据处理领域，该写入方法包括：当接收到针对目标文件的写入请求后，获取所述写入请求中携带的待写入的目标数据；基于所述目标数据中属于拆分键的第一数据，确定用于存储所述目标数据的第一子表；基于所述目标数据中属于所述隐式字段的第二数据，从所述第一子表对应的多个子表中，确定用于存储所述目标数据的子表，作为待利用子表；将所述目标数据写入所述待利用子表。通过本方案可以提升分布式数据库系统中的处理效率。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据写入方法、数据读取方法、装置及电子设备。

背景技术

在分布式数据库系统中，将任一文件拆分为多个子表，并将拆分后的各个子表分布地存储于多个存储节点，通过管理节点来对各个子表进行数据写入和数据读取等处理。其中，子表的拆分依赖于拆分键，该拆分键为文件中的多个字段中的一个或多个字段；并且，待写入的业务数据存储于哪个子表中，依赖于业务数据中的属于拆分键的数据内容。

但是对于电商等某些典型场景下，数据表经过拆分之后，得到的子表可能会存在数据量过大的问题，例如，大量数据集中存储于一个子表中，这样，分布式效果不佳，导致存储节点的处理效率依然无法满足业务需求。因此，如何提升分布式数据库系统的处理效率是一个亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种数据写入方法、装置及电子设备，以在数据写入过程中，提升分布式数据库系统的处理效率；另外，本发明实施例还提供一种数据读取方法、装置及电子设备，以在数据读取过程中，提升分布式数据库系统的处理效率。具体技术方案如下：

第一方面，本发明实施例提供了一种数据写入方法，应用于分布式数据库系统的管理节点，所述分布式数据库系统还包括多个存储节点；所述方法包括：

当接收到针对目标文件的写入请求后，获取所述写入请求中携带的待写入的目标数据；

基于所述目标数据中属于拆分键的第一数据，确定用于存储所述目标数据的第一子表；其中，所述第一子表为关于所述目标文件的子表且预先按照隐式字段被拆分为多个子表，所述第一子表对应的多个子表分布式地存储于各个存储节点中，所述隐式字段为除所述拆分键以外的字段；

基于所述目标数据中属于所述隐式字段的第二数据，从所述第一子表对应的多个子表中，确定用于存储所述目标数据的子表，作为待利用子表；

将所述目标数据写入所述待利用子表。

可选地，所述基于所述目标数据中属于所述隐式字段的第二数据，从所述第一子表对应的多个子表中，确定用于存储所述目标数据的子表，作为待利用子表，包括：

根据所述目标数据中属于所述隐式字段的第二数据，确定待利用的拆分参考信息；其中，不同的拆分参考信息与所述第一子表所对应的不同子表具有对应关系；

从所述第一子表对应的多个子表中，确定与所述待利用的拆分参考信息对应的子表，作为待利用子表。

可选地，所述根据所述目标数据中属于所述隐式字段的第二数据，确定待利用的拆分参考信息，包括：

计算所述目标数据中属于所述隐式字段的第二数据的哈希值，作为待利用的拆分参考信息；

或者，

从所述隐式字段对应的多个取值范围中，确定所述目标数据中属于所述隐式字段的第二数据所在的取值范围，作为待利用的拆分参考信息。

可选地，所述将所述目标数据写入所述待利用子表，包括：

确定所述待利用子表所部署于的第一存储节点；

向所述第一存储节点发送第一请求，以使所述第一存储节点响应所述第一请求；其中，所述第一请求用于将所述目标数据写入至所述待利用子表。