[发明专利]一种运维大数据共享数据表的处理方法、装置及存储介质

说明书

本发明提供了一种运维大数据共享数据表的处理方法、装置及存储介质，该方法包括：在一个服务器的数据库上建立用于大数据共享的数据表，该服务器称为主服务器；主服务器将所建立的数据表发送至其他的服务器及多个用户终端，发送至其他的服务器及多个用户终端的数据表生成本地镜像，用户在本地镜像中进行数据的操作，备份服务器向多个服务器及多个用户端发出备份请求，其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，主服务器生成数据表的本地全量备份数据，然后生成备份数据集。本发明仅对部分本地镜像进行禁止写或修改，别的本地镜像仍然可以操作，提高了数据采集的效率。

技术领域

本发明涉及大数据处理技术领域，特别是一种运维大数据共享数据表的处理方法、装置及存储介质。

背景技术

“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录、运营运维系统等，还有许多其他来源。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。

近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算，但是，大数据的高速并行采集仍是技术人员追求的研究目标。

现有技术中，大数据一般以存储在分布式数据库的各个数据表中，在大数据的采集、应用、处理等等应用时，各个数据表会被共享到其他服务器、用户端进行相应的操作，如何保持各用户端、服务器数据操作的一致性且将对用户操作的影响最小是目前的一个难点。

现有技术中对各个本地数据表进行保存，但是，其很难使得各个服务器及用户终端的数据保持一致，或者直接将所有的数据表锁定后进行同步的方法，导致数据表锁定的时间过长，降低了大数据的采集效率。此外，现有技术中，数据库的日志可能不同步，也将导致备份的数据出错，影响了用户体验。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种运维大数据共享数据表的处理方法，该方法应用于分布式数据处理系统，所述分布式处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该方法包括：

数据表建立步骤，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；

分发步骤，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户终端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；

镜像步骤，发送至其他的服务器及所述多个用户终端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户终端中具有一个本地镜像；

备份步骤：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。