[发明专利]一种数据处理方法、装置以及计算机可读存储介质

说明书

本发明实施例公开了一种数据处理方法、装置以及计算机可读存储介质，该方法包括：获取针对全量元数据的修改请求，根据全量元数据的修改请求确定目标数据以及全量元数据中的待修改数据；目标数据是指针对待修改数据进行修改后的数据；根据待修改数据和目标数据生成第一修改映射信息；将第一修改映射信息提交至元数据管理线程，若提交成功，则基于第一修改映射信息修改全量元数据，得到修改后的全量元数据；所述修改后的全量元数据包括目标数据。采用本发明实施例，可提高元数据的修改提交效率。

技术领域

本发明涉及数据处理的技术领域，尤其涉及一种数据处理方法、装置以及计算机可读存储介质。

背景技术

在分布式系统中，元数据需要被频繁修改，且修改之后的元数据需要被重新提交系统，因此，对元数据的修改与提交的效率提出了较高的要求。

现有技术中，主要是对全量元数据进行修改，进而提交修改之后的全量元数据，达到对全量元数据进行更新的目的。但是，由于每更新一次元数据就会牵扯到对全量元数据的修改与提交，导致元数据的更新效率低。

发明内容

本发明实施例提供了一种数据处理方法、装置以及计算机可读存储介质，提高了元数据更新的效率。

本发明实施例一方面提供了一种数据处理方法，包括：

获取针对全量元数据的修改请求，根据所述全量元数据的修改请求确定目标数据以及所述全量元数据中的待修改数据；所述目标数据是指针对所述待修改数据进行修改后的数据；

根据所述待修改数据和所述目标数据生成第一修改映射信息；

将所述第一修改映射信息提交至元数据管理线程，若提交成功，则基于所述第一修改映射信息修改所述全量元数据，得到修改后的全量元数据；所述修改后的全量元数据包括所述目标数据。

其中，所述根据所述待修改数据和所述目标数据生成将所述待修改数据修改至所述目标数据的第一修改映射信息，包括：

将所述待修改数据修改为过渡修改数据；

将所述过渡修改数据保存至公共内存中；

基于所述公共内存中的过渡修改数据、所述待修改数据以及所述目标数据生成所述第一修改映射信息。

其中，所述过渡修改数据具有在所述公共内存中的数据地址；所述基于所述公共内存中的过渡修改数据、所述待修改数据以及所述目标数据生成所述第一修改映射信息，包括：

根据所述过渡修改数据对应的数据地址在所述公共内存中获取所述过渡修改数据；

基于所述过渡修改数据、所述待修改数据以及所述目标数据生成所述第一修改映射信息，并删除所述公共内存中的所述过渡修改数据。

其中，所述元数据管理线程包括增量元数据队列；所述增量元数据队列包括多个缓存节点；所述缓存节点用于缓存提交后的所述第一修改映射信息；所述元数据管理线程还包括业务线程以及提交线程；所述业务线程用于接收针对所述全量元数据的修改请求；所述提交线程用于提交所述第一修改映射信息。

其中，所述将所述第一修改映射信息提交至元数据管理线程，若提交成功，则基于所述第一修改映射信息修改所述全量元数据，得到修改后的全量元数据，包括：

若存在多个所述第一修改映射信息，则根据所述提交线程、每个第一修改映射信息的数据量大小以及增量元数据队列中每个缓存节点对应的节点缓存阈值，合并所述多个第一修改映射信息，生成多个合并修改映射信息；每个合并修改映射信息的数据量不大于所述节点缓存阈值；

按照生成时间的顺序，基于所述提交线程将所述多个合并修改映射信息依次提交至所述增量元数据队列中的缓存节点；