[发明专利]基于分布式数据库的数据处理方法、装置、设备和介质

权利要求书

1.一种基于分布式数据库的数据处理方法，其特征在于，包括：

根据原始数据表的各数据表分区对应的候选文件分片，确定所述原始数据表对应的数据索引表；

当获取到数据记录存储请求时，根据所述数据记录存储请求确定待存储数据记录的待存储主键，并根据所述待存储主键和所述数据索引表的索引表主键，确定所述数据索引表中是否存储有待存储数据记录的目标历史数据记录；

若否，则控制前端服务器在数据插入内存区设置待存储文件分片，并将所述待存储数据记录存入所述待存储文件分片中，确定待更新文件分片，且在检测到所述待存储数据记录存储完成后，从所述前端服务器获取所述待更新文件分片，将所述待更新文件分片存入所述数据索引表；

若是，则根据所述待存储数据记录对所述目标历史数据记录进行更新。

2.根据权利要求1所述的方法，其特征在于，将所述待更新文件分片存入所述数据索引表，包括：

对所述待更新文件分片进行列式转换，若所述待更新文件分片的更新分片内存大于或等于分片内存阈值，则对列式转换后的待更新文件分片进行压缩处理，确定更新列式文件，并将所述更新列式文件存入所述数据索引表；

若所述更新分片内存小于分片内存阈值，则将列式转换后的待更新文件分片存入所述数据索引表。

3.根据权利要求1所述的方法，其特征在于，控制前端服务器在数据插入内存区设置待存储文件分片，包括：

确定剩余分片内存最大的候选文件分片为目标文件分片，若所述目标文件分片的剩余分片内存大于剩余内存阈值，则将所述目标文件分片发送至前端服务器，并控制所述前端服务器在数据插入内存区将所述目标文件分片设置为待存储文件分片；

若所述目标文件分片的剩余分片内存小于或等于所述剩余内存阈值，则控制前端服务器在数据插入内存区新建待存储文件分片。

4.根据权利要求1所述的方法，其特征在于，根据原始数据表的各数据表分区对应的候选文件分片，确定所述原始数据表对应的数据索引表，包括：

根据原始数据表中的原始表主键，对所述原始数据表进行预分区，获取至少两个数据表分区；

基于预设的分片参数对各数据表分区进行分片处理，确定各数据表分区对应的候选文件分片，并对所述候选文件分片进行列式转换和压缩处理，确定列式压缩文件；

建立初始索引表，并将所述列式压缩文件存储在初始索引表中，确定数据索引表；所述数据索引表的索引表主键为原始表主键。

5.根据权利要求1所述的方法，其特征在于，根据所述待存储数据记录对所述目标历史数据记录进行更新，包括：

从所述候选文件分片中确定所述目标历史数据记录对应的目标文件分片，并将所述目标文件分片和所述待存储数据记录发送至所述前端服务器的数据修改内存区，以使所述前端服务器根据所述待存储数据记录在所述数据修改内存区对所述目标文件分片进行修改；

获取所述前端服务器反馈的修改后的目标文件分片，并根据修改后的目标文件分片对所述目标历史数据记录进行更新。

6.根据权利要求1所述的方法，其特征在于，包括：

当获取到数据记录删除请求时，根据所述数据记录删除请求确定待删除数据记录的待删除主键，并根据所述待删除主键和所述数据索引表的索引表主键，从所述数据索引表中确定待删除数据记录；

从所述数据索引表中删除所述待删除数据记录。