[发明专利]高效安全的数据云存储系统实现方法及装置

摘要

本发明是提供一种由若干服务器和若干的数据存储设备组成的高效安全的数据云存储系统实现方法及装置，涉及云存储领域。主要的特点如下：在云存储中采用身份认证机制与灵活的操作权限设定；数据每经过一次网络传输即进行一次校验；先压缩数据再通过网络传输；对云中数据进行加密后存储；对云存储中的数据进行备份；对于已上传到云存储的数据，可以仅上传差量信息即可对其进行更新；自动负载均衡更好的利用云中空闲处理器和网络存储器；用户、管理员都可以方便定制策略；管理员可以监控云存储的服务状态。使用本方法构架的云存储系统将在提高存储数据的保密性、完整性、可用性以及系统的自适应能力，同时提升该系统的运行效率与可控性。

主权项

高效安全的数据云存储系统实现方法及装置采用层次式结构，每层都聚合了若干功能器件，组合或单独实现某些功能，第一层是终端用户层(也称云外层)，本层主要实现终端用户权限分享，数据上传前的压缩、加密和下载后解密、解压缩、数据差量比较等功能(本层包含所有使用云存储服务的终端用户，这些终端用户通过互联网与第二层相连)；第二层是云端处理层(也称核心层)，本层主要实现身份认证、数据二次加密、备份、差量更新、负载均衡等功能(本层由多台服务器相连的分布式网络组成，这个分布式服务器网络与第三层相连)；第三层是云端存储层(也称存储层)，本层主要实现数据存储的功能(本层由若干存储节点组成，每个存储节点包含若干网络存储设备)；各层具体包含的功能器件及其功能是：1)终端用户层(也称云外层)，使用云存储服务的终端用户所在的层次，包括：(1)分享器，与其他终端用户分享自己所拥有的数据操作权限；(2)终端策略器，允许终端用户定制策略并执行(比如：选择网络空闲时上传数据的策略或系统空闲时对数据进行压缩、加密)；(3)压缩/解压缩器，压缩要上传至下述云端处理层的数据或解压缩从下述云端处理层下载的数据(这个功能可依据终端处理能力或由终端用户选择，是否启用)；(4)加密/解密器，加密要上传至下述云端处理层的数据或解密从下述云端处理层下载的数据(这个功能可依据终端处理能力或由终端用户选择，是否启用)；(5)差量比较器，比较编辑前后的数据的差异变化量(用于更新云存储中数据副本，这个功能可依据终端处理能力或由终端用户选择，是否启用)；(6)校验器，校验传输器接收的数据是否完整；(7)传输器，通过网络与下述云端处理层的传输器建立连接实现数据上传/下载，可采用现有网络传输协议(如：FTP、HTTP等)或使用开发新的传输协议；(8)日志记录器，记录终端用户的登录、数据传输等终端用户操作信息；2)云端处理层(核心层)对上述终端用户层的请求进行应答、提供云存储服务，有若干台服务器组成(这些服务器应分别使用不同的网络接入商提供的接入服务)，包括：(1)身份认证器，检验通过上述终端用户层登录的终端用户或在本层登录的管理员的身份的有效，确认终端用户或管理员的操作权限；(2)用户管理器，管理终端用户层的终端用户账号和本层的管理员账号、密码以及其操作权限；(3)云端策略器，云端处理层管理员定制并执行策略(比如：定期备份数据的策略)；(4)监控器，监控本层各服务器剩余处理能力、服务器状态、下述云端存储层的各存储节点的中网络存储设备的剩余存储空间、网络存储设备状况，上述终端用户层的在线用户数目等信息，并更改服务器服务状态(启动/终止服务)、终端用户在线用状态(强制终端用户下线、暂停数据处理请求等)；(5)均衡器，将终端用户层的数据服务请求分配给云端处理层中有足够处理能力(可对处理资源设定阀值，比如：CPU占用率高于85％被视为没有足够处理能力)且与发出数据服务请求的终端用户层的网络接入点间网络连接最优的服务器，根据云端存储层各存储节点中网络存储设备的剩余存储空间，分配数据存储到各存储节点；(6)传输器，通过网络与上述终端用户层建立连接实现数据接收/发送，支持现有网络传输协议(如：FTP、HTTP等)或使用开发新的传输协议；(7)压缩/解压缩器，压缩上述终端用户层没有进行压缩的数据或解压缩要下发到上述终端用户层的由本层压缩的数据；(8)加密/解密器，对要存储到下述云端存储层的数据进行加密封装或将从下述云端存储层读取的数据进行解密；(9)校验器，校验传输器接收或存储器读取的数据是否完整；(10)更新器，依据上述终端用户层上传的数据差量信息，对存储在下述云端存储层的数据和备份进行更新；(11)备份器，对所有保存到下述云端存储层的数据，创建一个副本，副本与原数据一同存储在下述云端存储层中；(12)存储器，可以连接下述云端存储层任何存储节点中的任何网络存储设备，将数据保存到均衡器指定的网络存储设备中，读取存储在下述云端存储层的数据(如果校验器对读取的数据校验失败，则读取存储数据的备份)；(14)日志记录器，记录本层及下述云端存储层的网络流量、服务状态等日志信息；3)云端存储层(存储层)包含若干网络存储节点，每个网络存储节点包含若干网络存储设备，包括：(1)网络存储设备，保存上述云端处理层提交的数据；其实现步骤主要特征在于：①终端用户在使用云存储服务前必须先登录，通过身份有效性认证才能使用云存储服务；②管理员在管理云存储服务前必须先登录，通过身份有效性认证才能进行管理；③终端用户可以将自己对数据的操作权限与其他终端用户分享(终端用户及其初始操作权限由管理员创建)；④终端用户选择是否在上传数据前对其进行加密、压缩(如果选择开启上传数据前加密、压缩功能则下载该数据后自动对其进行解密、解压缩)，可以比较数据在本地编辑后的数据差异变化量，使用这个数据差量更新存储在云存储而不必上传经过编辑的全部数据，可以查询云服务中保存的数据；⑤云端处理层在数据存储前都进行二次加密封装；⑥云端处理层对所有存储的数据都进行备份存储；⑦终端用户和管理员都可以制定执行自定义的策略(终端用户制定的策略在终端用户层保存执行，管理员制定的策略在云端管理层保存执行)；⑧终端用户在编辑本地数据后仅上传经过比较数据编辑前后变化的差量信息，终端处理层使用这个差量信息更新存储在云存储层中的数据，而不必上传数据的全部内容；⑨终端用户或管理员每次进行操作前都需要确权(确认其拥有执行请求操作的权限)；⑩管理管理员可以监控云中任何服务器、网络、任何网络存储设备等设备的状态。