[发明专利]一种大数据归档方法、装置、设备及存储介质

权利要求书

1.一种大数据归档方法，其特征在于，包括：

获取归档策略和与所述归档策略相应的归档表；

基于所述归档策略和归档表，创建对应的分区表；

当检测到所述归档表的数据发生改变时，查找到发生改变的数据对应的目标分区表；

根据所述目标分区表，捕获所述发生改变的数据；

将所述发生改变的数据发送至少一个发送队列中；

逐一将各发送队列中的数据发送至大数据的存储层中的目标表中；

基于所述归档策略，对源数据库中的所述归档表进行删除。

2.根据权利要求1所述的方法，其特征在于，所述当检测到所述归档表的数据发生改变时，查找到发生改变的数据对应的目标分区表，包括：

当检测到所述归档表的数据发生改变时，创建相应的更新日志，所述更新日志包括发生改变数据对应的目标分区表的地址信息；

根据所述更新日志，查找到所述目标分区表。

3.根据权利要求1所述的方法，其特征在于，所述逐一将各发送队列中的数据发送至大数据的存储层中的目标表中，包括：

根据各发送队列中的数据的属性，确定各发送队列的优先级；

按照优先级由高到低的顺序，依次将各发送队列中的数据发送至大数据的存储层中的目标表中。

4.根据权利要求1所述的方法，其特征在于，所述逐一将各发送队列中的数据发送至大数据的存储层中的目标表中之后，包括：

获取所述归档表中发生改变的数据与所述目标表中的数据之间的映射关系；

基于所述映射关系，对所述目标表中的数据进行校验处理。

5.根据权利要求4所述的方法，其特征在于，所述基于所述映射关系，对所述目标表中的数据进行校验处理，包括：

根据预设算法，确定所述归档表中发生改变的数据的第一校验值，以及发送至所述目标表中的数据的第二校验值；

基于所述映射关系，将所述第一校验值与所述第二校验值进行比较，若所述第一校验值与所述第二校验值不同，则将所述归档表中所述第一校验值对应的数据重新发送至所述大数据存储层的目标表中，并重新根据所述预设算法，确定所述归档表中所述数据的第一校验值及所述目标表中所述数据的第二校验值，直至所述第一校验值及第二校验值相同为止。

6.根据权利要求1所述的方法，其特征在于，所述归档策略包括预设的清理周期，所述基于所述归档策略，对源数据库中的所述归档表进行删除，包括：

基于所述清理周期，获取所述归档表的第一数据总量及所述目标表中的第二数据总量；

根据所述第一数据总量及所述第二数据总量，判定是否对所述源数据库中的所述归档表进行删除处理。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一数据总量及所述第二数据总量，判定是否对所述源数据库中的所述归档表进行删除处理，包括：

将所述第一数据总量与所述第二数据总量进行比较，若所述第一数据总量与所述第二数据总量相同，则对源数据库中的归档表进行删除。

8.一种大数据归档装置，其特征在于，包括：

获取模块，用于获取归档策略和与所述归档策略相应的归档表；

创建模块，用于基于所述归档策略和归档表，创建对应的分区表；

查找模块，用于当检测到所述归档表的数据发生改变时，查找到发生改变的数据对应的目标分区表；

捕获模块，用于根据所述目标分区表，捕获所述发生改变的数据；

存储模块，用于将所述发生改变的数据发送至少一个发送队列中；

发送模块，用于逐一将各发送队列中的数据发送至大数据的存储层中的目标表中；

清理模块，用于基于所述归档策略，对源数据库中的所述归档表进行删除。

9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的大数据归档方法对应的操作。

10.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的大数据归档方法对应的操作。