[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备和存储介质，该方法包括：计算机设备调用计算服务节点接收数据库操作请求，若数据库操作请求为数据写入请求，则基于数据写入请求构建预写日志；调用存储服务节点对预写日志进行划分，得到多个预写日志片段，并对多个预写日志片段进行存储处理。本方案中，将数据库中的存储服务与计算服务隔离，降低存储服务与计算服务的耦合性，在进行数据读/写过程中，减少对数据库性能的影响，此外，本方案在对数据库进行数据写过程中只传输构建的预写日志，不传输数据，大大降低了传输数据量，在存储预写日志的过程中，对预写日志进行划分存储，提升了数据快速恢复的能力，优化了数据库的写性能。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理方法、装置、计算 机设备和存储介质。

背景技术

随着互联网的飞速发展，所产生的数据量以几何的模式增长。数据量大、 数据种类多的现象对数据库的性能要求越来越高。

传统数据库的数据写入和数据存储耦合在数据库引擎中，且传统数据库在 执行写数据的过程中，需要将数据文件、日志文件、重做日志redo log等文件进 行同步数据处理。

上述传统数据库数据处理过程中涉及的数据量较大，导致数据库在数据处 理过程中耗时增大，数据处理效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据库数据处理效 率的数据处理方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种数据处理方法，包括：

调用计算服务节点接收数据库操作请求，若数据库操作请求为数据写入请 求，则基于数据写入请求构建预写日志；

调用存储服务节点对预写日志进行划分，得到多个预写日志片段，并对多 个预写日志片段进行存储处理。

在本实施例中，将数据库中的存储服务与计算服务隔离，降低存储服务与 计算服务的耦合性，在进行数据读/写过程中，减少对数据库性能的影响，此外， 本方案中，在对数据库进行数据写过程中只传输构建的预写日志，不传输数据 本身，大大降低了传输数据量，且，在存储预写日志的过程中，对预写日志进 行划分存储，提升了数据快速恢复的能力，优化了数据库的写性能。

在其中一个可选的实施例中，存储服务节点包括多个存储节点；调用存储 服务节点对预写日志进行划分，得到多个预写日志片段，并对多个预写日志片 段进行存储处理，包括：

根据预写日志中写入数据与存储节点之间的对应关系，对预写日志进行划 分，得到与各存储节点对应的预写日志片段；

将各预写日志片段存储至对应的各存储节点中。

在本实施例中，根据数据划分规则对wal进行划分存储，减少写入存储节 点的数据量。

在其中一个可选的实施例中，存储节点包括预写日志片段文件、数据文件 和数据缓存；对多个预写日志片段进行存储处理，包括：

根据预设的排序规则，将各预写日志片段依次存储至各存储节点对应的预 写日志片段文件中；

按照预设的第一操作频率，从各预写日志片段文件中读取对应的预写日志 片段，将预写日志片段重放至各存储节点的数据文件和数据缓存中。

在本实施例中，存储服务节点可以基于本地wal segment中的wal片段实现 数据文件与数据缓存中wal片段的重放，无需跨节点，避免网络开销，也提高 了wal片段重放的效率。

在其中一个可选的实施例中，按照预设的第一操作频率，从各预写日志片 段文件中读取对应的预写日志片段，将预写日志片段重放至各存储节点的数据 文件和数据缓存中，包括：