[发明专利]一种云计算的文件系统和数据处理方法

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种云计算的文件系统和数据处理方法。

背景技术

云计算(cloud computing)是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。因此，云计算可以通过大量成本较低的电脑和服务器，实现每秒10万亿次数量级的运算能力。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

由服务商这样的专业网络公司来搭建计算机存储、运算中心，用户通过一根网线借助浏览器就可以很方便的访问，把“云”作为资料存储以及应用服务的中心。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

在实现本发明的过程中，发明人发现现有技术至少具有以下缺点：

由于采用了成千上万台电脑和服务器连接成一片电脑云，因此云计算的硬件容错性是非常重要的。现有技术为了保持数据的可靠性，都采用一个文件系统来控制数据的存储、读取、修改、删除。而现有的文件系统在对数据存储、读取、修改、删除时操作过于复杂，导致数据操作效率低。

发明内容

为了解决现有技术中的文件系统在对数据存储、读取、修改、删除时操作过于复杂，导致数据操作效率低的问题，本发明实施例提出了一种云计算的文件系统和数据处理方法。所述技术方案如下：

本发明实施例提出了一种云计算的文件系统，包括：

目录节点，用于提供客户端接口，并记录存储到数据节点中的数据的路径；

数据节点，连接所述目录节点，用于存储数据；

其中，所述目录节点包括：

数据存储模块，用于生成数据存储列表；将数据发送到所述数据存储列表中的每一节点；具体为前一数据节点接收到到预定大小的数据块后，将接收到的数据块及所述数据存储列表发送到下一数据节点，直至获得预订数量的冗余存储份数。

作为上述技术方案的优选，所述目录节点还包括：

数据切分模块，用于将接收到的数据进行切分以获得预定大小的数据分块；并将每一分块分别发送到数据存储模块。

作为上述技术方案的优选，所述目录节点还包括：

数据节点选择模块，用于读取数据节点所在的机柜ID，并根据机柜ID及预先设置的冗余系数生成数据存储列表。

作为上述技术方案的优选，所述目录节点还包括：

服务器状态确认模块，用于接收数据节点发送的心跳信息，以确定数据节点状态；并用于根据数据节点状态进行数据恢复。

作为上述技术方案的优选，所述目录节点还包括：

数据校验模块，用于根据在存储数据时，根据预设校验规则对数据进行校验，并将校验参数存储；并用于在读取文件时，根据所述校验参数对数据进行校验。

同时，本发明实施例还提出了一种云计算的文件系统的数据处理方法，其特征在于，包括：

步骤1、设置用于提供客户端接口并记录存储到数据节点中的数据的路径目录节点，和连接所述目录节点，用于存储数据的数据节点；

步骤2、目录节点生成数据存储列表，并将数据和所述数据存储列表发送到数据存储列表中的第一数据节点；

步骤3、当前数据节点接收数据，并在接收到预定大小的数据块后，将接收到的数据块及所述数据存储列表发送到下一数据节点；直至获得预订数量的冗余存储份数。

作为上述技术方案的优选，所述步骤102具体为：

步骤21、目录节点将接收到的数据进行切分以获得预定大小的数据分块；

步骤22、目录节点针对每一数据分块生成数据存储列表，并分别将每一数据分块及对应所述数据存储列表发送到数据存储列表中的第一数据节点。

作为上述技术方案的优选，所述方法还包括：

步骤4、读取数据节点所在的机柜ID，并根据机柜ID及预先设置的冗余系数生成数据存储列表。

作为上述技术方案的优选，所述方法还包括：

步骤5、目录节点接收数据节点发送的心跳信息，以确定数据节点状态；如果数据节点不可用，则读取该且该数据节点中存储的数据，以及文件系统中该数据的份数；如果所述份数少于冗余系数，则将该数据复制到可用的数据节点中并修改目录节点的参数。

作为上述技术方案的优选，所述方法还包括：

步骤6、在存储数据时，根据预设校验规则对数据进行校验，并将校验参数存储；在读取文件时，根据所述校验参数对数据进行校验。