[发明专利]一种实现数据存储的方法及装置

说明书

本申请公开了一种实现数据存储的方法及装置，包括：根据预先确定的无理数确定进行数据存储的存储参数；将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。本发明通过预先确定的无理数及基于无理数确定的存储参数进行数据存储，根据还原参数信息进行数据还原处理，相对于现有存储方式的元数据，进行数据读取和还原仅需保存无理数、存储参数和还原参数信息既可，降低了存储和还原数据的计算量。

技术领域

本申请涉及云存储技术，尤指一种实现数据存储的方法及装置。

背景技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。许多人把云存储理解成把数据存到网上，其实不然。采用云存储技术进行数据存储时，数据不一定是存储在网络的固定位置，也不一定以完整的文件进行存储，甚至存储的方式也是随机的，云存储最基本要求是：数据的合法拥有者在存储完数据口必须能够从存储位置将数据还原。

目前，云存储的基本方法是先将数据分块，然后随机的将数据分块分布到网络上的多台服务器上，并在本地记录数据分块和数据分块后的分布信息，在需要重新获取数据时，根据本地记录数据分块和数据分块后的分布信息进行还原数据的处理。为了保证云存储的安全性能，在进行数据分块和分布数据分块到服务器时需要进行比如数据切分、建立数据影射、元数据存储、索引、冗余、传输、加密解密等。例如、利用哈希(Hash)表进行存储，就要先合理切分数据，保证每一段切分的数据计算的关键(key)值都和其他段不同，对所有服务器(也可以称为存储节点)也进行hash，各存储节点的key值亦不重复。然后建立一张映射表，使切分的数据的key值与存储节点的key值形成对应关系后，就可以进行打散存储了。打散存储后，通过元数据表中记录的每一块切分数据的key值和存储节点的key值，元数据用于数据还原。

虽然元数据数据量较小，但随着切分数据的块数的增加和存储节点数量的增加，需要在本地存储大量的元数据，进行数据的存储和还原时，需要较高的运算量，对于存储或运算的系统而言很难实现。

发明内容

为了解决上述问题，本发明提供一种实现数据存储的方法及装置，能够降低存储和还原数据时的计算量。

为了达到本发明的目的，本申请提供一种实现数据存储的方法；包括：

根据预先确定的无理数确定进行数据存储的存储参数；

将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点，并根据各数据块的写入生成还原参数信息，以在读取存储的数据时根据还原参数信息进行数据还原。

进一步地，确定进行数据存储的存储参数具体包括：

按照预设的位数间隔从设定的起始位开始逐个读取第一预设位数的无理数；

将读取的各第一预设位数的无理数对预先确定存储所述存储数据的存储节点个数进行取模，将取模的数值作为各数据块相应的写入的存储节点的存储节点编号；

所述预设的位数间隔为大于或等于0的整数。

进一步地，将切分为数据块的存储数据根据确定的存储参数分别写入到相应的存储节点具体包括：

对各切分的数据块进行排序编号后，根据所述确定的各数据块相应的写入的存储节点的存储节点编号，将所述存储数据的各数据块分别写入相应的存储节点。

进一步地，该方法之前还包括：

根据预先设定的数据块大小切分所述存储数据，获得所述切分的数据块；或，