[发明专利]一种运维大数据共享数据表的处理方法、装置及存储介质

权利要求书

1.一种运维大数据共享数据表的处理方法，该方法应用于分布式数据处理系统，其特征在于，所述分布式数据处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该方法包括：

数据表建立步骤，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；

分发步骤，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；

镜像步骤，发送至其他的服务器及所述多个用户端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户端中具有一个本地镜像；

备份步骤：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集；所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述备份数据集；

获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器；

所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器；所述主服务器基于所述备份数据集对所述数据表进行更新；

所述主服务器基于所述备份数据集对所述数据表进行更新的操作包括：所述主服务器获取备份数据集中的所述本地全量备份数据以及所有本地镜像全量备份数据，对所述本地全量备份数据以及所有本地镜像全量备份数据进行解析得到所述本地全量备份数据以及所有本地镜像全量备份数据中的所有数据条目及对应的写入或修改时间，基于所述写入或修改时间对所有的数据条目进行排序，将排序后的数据条目写入所述数据表，然后，从备份数据集获取所述本地镜像集中的每一个本地镜像的日志文件，对所有的日志文件进行解析获得所有的增量数据以及所述增量数据对应的写入或修改时间，基于所述增量数据对应的写入或修改时间对所有的增量数据进行排序，将排序后的增量数据的数据条目写入所述数据表。