[发明专利]一种数据处理方法、装置以及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取针对全量元数据的修改请求，根据所述全量元数据的修改请求确定目标数据以及所述全量元数据中的待修改数据；所述目标数据是指针对所述待修改数据进行修改后的数据；

根据所述待修改数据和所述目标数据生成第一修改映射信息；

将所述第一修改映射信息提交至元数据管理线程，若提交成功，则基于所述第一修改映射信息修改所述全量元数据，得到修改后的全量元数据；所述修改后的全量元数据包括所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待修改数据和所述目标数据生成将所述待修改数据修改至所述目标数据的第一修改映射信息，包括：

将所述待修改数据修改为过渡修改数据；

将所述过渡修改数据保存至公共内存中；

基于所述公共内存中的过渡修改数据、所述待修改数据以及所述目标数据生成所述第一修改映射信息。

3.根据权利要求2所述的方法，其特征在于，所述过渡修改数据具有在所述公共内存中的数据地址；所述基于所述公共内存中的过渡修改数据、所述待修改数据以及所述目标数据生成所述第一修改映射信息，包括：

根据所述过渡修改数据对应的数据地址在所述公共内存中获取所述过渡修改数据；

基于所述过渡修改数据、所述待修改数据以及所述目标数据生成所述第一修改映射信息，并删除所述公共内存中的所述过渡修改数据。

4.根据权利要求1所述的方法，其特征在于，所述元数据管理线程包括增量元数据队列；所述增量元数据队列包括多个缓存节点；所述缓存节点用于缓存提交后的所述第一修改映射信息；所述元数据管理线程还包括业务线程以及提交线程；所述业务线程用于接收针对所述全量元数据的修改请求；所述提交线程用于提交所述第一修改映射信息。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一修改映射信息提交至元数据管理线程，若提交成功，则基于所述第一修改映射信息修改所述全量元数据，得到修改后的全量元数据，包括：

若存在多个所述第一修改映射信息，则根据所述提交线程、每个第一修改映射信息的数据量大小以及增量元数据队列中每个缓存节点对应的节点缓存阈值，合并所述多个第一修改映射信息，生成多个合并修改映射信息；每个合并修改映射信息的数据量不大于所述节点缓存阈值；

按照生成时间的顺序，基于所述提交线程将所述多个合并修改映射信息依次提交至所述增量元数据队列中的缓存节点；

若提交成功，则分别生成针对所述每个合并修改映射信息的提交成功信息，基于所述提交线程将所述合并修改映射信息的提交成功信息发送至所述业务线程；

根据所述业务线程、所述合并修改映射信息的提交成功信息以及所述缓存节点中的所述合并修改映射信息修改所述全量元数据，得到修改后的全量元数据。

6.根据权利要求4所述的方法，其特征在于，若缓存节点完成对所述第一修改映射信息的缓存，则所述缓存节点处于非缓存状态；

所述方法还包括：

当所述增量元数据队列中的所有缓存节点均处于所述非缓存状态时，将根据所述增量元数据队列中的所有缓存节点中的第一修改映射信息修改完成的全量元数据，确定为已落地数据；

基于所述提交线程备份所述已落地数据，若备份成功，则将所述增量元数据队列中的所有缓存节点从所述非缓存状态恢复至可缓存状态；恢复至所述可缓存状态的缓存节点的可缓存数据量等于所述节点缓存阈值。