[发明专利]基于分布式数据库的数据处理方法、装置、设备和介质

说明书

本发明公开了一种基于分布式数据库的数据处理方法，包括：根据原始数据表的各数据表分区对应的候选文件分片，确定原始数据表对应的数据索引表；根据数据记录存储请求确定待存储数据记录的待存储主键，并根据待存储主键和数据索引表的索引表主键，确定数据索引表中是否存储有待存储数据记录的目标历史数据记录；若否，则控制前端服务器在数据插入内存区设置待存储文件分片，并将待存储数据记录存入待存储文件分片中，确定待更新文件分片，在检测到待存储数据记录存储完成后，从前端服务器获取待更新文件分片，将待更新文件分片存入数据索引表；若是，则根据待存储数据记录对目标历史数据记录进行更新。提高了对数据索引表中存储数据的修改效率。

技术领域

本发明实施例涉及计算机领域，尤其涉及一种基于分布式数据库的数据处理方法、装置、设备和介质。

背景技术

目前，在进行大数据分析时，往往需要把一张数据表存储在分布式文件系统中，分布式文件系统不支持对数据表进行修改，因此，当需要对数据表中的一条数据记录需要修改时，需要重写整个数据表。导致对分布式文件系统中存储的数据表的数据记录进行修改时，修改过程繁琐且效率低的问题。因此，如何提高对分布式文件系统中存储的数据表的修改效率，是需要解决的问题。

发明内容

本发明提供了一种基于分布式数据库的数据处理方法、装置、设备和介质，可以实现当需要对数据索引表中的存储数据进行修改时，无需重写整个数据索引表，仅对对数据索引表中待修改的目标历史数据记录进行修改，提高数据索引表的修改效率和更新效率。

根据本发明的一方面，提供了一种基于分布式数据库的数据处理方法，包括：

根据原始数据表的各数据表分区对应的候选文件分片，确定所述原始数据表对应的数据索引表；

当获取到数据记录存储请求时，根据所述数据记录存储请求确定待存储数据记录的待存储主键，并根据所述待存储主键和所述数据索引表的索引表主键，确定所述数据索引表中是否存储有待存储数据记录的目标历史数据记录；

若否，则控制前端服务器在数据插入内存区设置待存储文件分片，并将所述待存储数据记录存入所述待存储文件分片中，确定待更新文件分片，且在检测到所述待存储数据记录存储完成后，从所述前端服务器获取所述待更新文件分片，将所述待更新文件分片存入所述数据索引表；

若是，则根据所述待存储数据记录对所述目标历史数据记录进行更新。

根据本发明的另一方面，提供了一种基于分布式数据库的数据处理装置，该装置包括：

数据索引表确定模块，用于根据原始数据表的各数据表分区对应的候选文件分片，确定所述原始数据表对应的数据索引表；

目标历史记录确定模块，用于当获取到数据记录存储请求时，根据所述数据记录存储请求确定待存储数据记录的待存储主键，并根据所述待存储主键和所述数据索引表的索引表主键，确定所述数据索引表中是否存储有待存储数据记录的目标历史数据记录；

文件分片存储模块，用于若否，则控制前端服务器在数据插入内存区设置待存储文件分片，并将所述待存储数据记录存入所述待存储文件分片中，确定待更新文件分片，且在检测到所述待存储数据记录存储完成后，从所述前端服务器获取所述待更新文件分片，将所述待更新文件分片存入所述数据索引表；

目标历史记录更新模块，用于若是，则根据所述待存储数据记录对所述目标历史数据记录进行更新。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，