[发明专利]数据处理方法及数据处理装置

说明书

本发明公开了一种数据处理方法及数据处理装置，其中，该方法包括：确定待处理数据的类型；在待处理数据为业务数据时，将业务数据的正本存储到N个节点中的任意一个节点，并将业务数据的副本分成N‑1个数据块，以及将N‑1个数据块分别存储到剩余N‑1个节点；在待处理数据为系统数据时，将系统数据分成M个数据块，并将M个数据块的正本分别存储到M个节点，以及将M个数据块中的每个数据块分为X组，并将每组数据的多个副本存储到除了存储该组数据正本的节点以外的多个节点，且每组数据中最小存储单位数据对应的副本存储在不同的节点。本发明能够根据数据的不同类型来采用不同的存储方式，不仅确保数据存储的高可靠性，还能够避免数据冗余。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种数据处理方法、一种数据处理装置、以及一种计算机设备和一种计算机可读存储介质。

背景技术

在对数据存储时，为了保证数据的高可靠性，通常将一份数据复制成多份，然后将每份数据存储到相应的数据节点，这样当某一份数据出现问题或者某个数据节点掉电时，可调用其他数据节点的备份数据来使相应任务正常执行。

这种数据存储方式，虽然能够提高数据的高可靠性，但是会由于数据相关性而导致关联节点的服务压力，并且也会造成数据节点的存储数据冗余，大大降低了数据存储量，不利于整个数据系统的长期高效运行。

相关技术提出了一种分布式数据存储方法及分布式数据集群系统，虽然能够通过破坏数据的正本及其副本存储的相关性，可使尽可能多的数据正本及其副本所存储的数据节点服务器不完全相同，即尽量使数据的存储在多个数据节点服务器中做均衡，这样当N个数据节点服务器中任一个数据节点服务器出现问题时，都由集群的其它N-1个数据节点服务器共同来承担服务压力，以避免对某几个特定的数据节点服务器产生较大的影响，但是其还是存在存储数据冗余、不利于数据高效处理的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种数据处理方法，能够根据数据的不同类型来采用不同的存储方式，不仅确保数据存储的高可靠性，还能够避免数据冗余，保证系统高效、稳定运行。

本发明的第二个目的在于提出一种计算机设备。本发明的第三个目的在于提出一种计算机可读存储介质。本发明第三个目的在于提出一种数据处理装置。

为达到上述目的，本发明第一方面实施例提出的数据处理方法，包括：确定待处理数据的类型，其中，所述待处理数据的类型包括业务数据和系统数据；在所述待处理数据为所述业务数据时，将所述业务数据的正本存储到N个节点中的任意一个节点，并将所述业务数据的副本分成N-1个数据块，以及将N-1个数据块分别存储到剩余N-1个节点，其中，N＞2，且为整数；在所述待处理数据为所述系统数据时，将所述系统数据分成M个数据块，并将M个数据块的正本分别存储到M个节点，以及将M个数据块中的每个数据块分为X组，并将每组数据的多个副本存储到除了存储该组数据正本的节点以外的多个节点，且每组数据中最小存储单位数据对应的副本存储在不同的节点，其中，X＞1，2＜M≤N，且X、M均为整数。

根据本发明实施例的数据处理方法，先确定待处理数据是业务数据，还是系统数据，若是业务数据，则将业务数据的正本存储到N个节点中的任意一个节点，并将业务数据的副本分成N-1个数据块，以及将N-1个数据块分别存储到剩余N-1个节点，这样在任意一个节点损坏或掉电时都能保证数据的正常服务，同时仅需N-1个节点来分担存储一个副本数据，避免存储数据冗余，大大提高了整体数据存储量，并保证系统稳定运行；而在待处理数据是系统数据时，将系统数据直接分成M个数据块，然后将M个数据块的正本分别存储到M个节点，再将M个数据块中的每个数据块分为X组，并将每组数据的多个副本存储到除了存储该组数据正本的节点以外的多个节点，且每组数据中最小存储单位数据对应的副本存储在不同的节点，这样能够在降低数据存储量的同时，即使多个节点出现损坏或掉电时，也能保证系统数据正常服务，确保系统可靠运行，从而有利于数据高效处理。