[发明专利]一种云存储中数据快速调度的方法

说明书

技术领域

本发明涉及计算机、通信网络技术领域，具体涉及一种云存储中数据快速调度的方法。

背景技术

随着移动互联网和物联网技术的快速发展，在很多领域中，会产生海量的数据，这些数据量以TB级甚至PB级为单位快速增长，如遍布全世界的各种传感器产生的数据、手机终端用户发送的图片和文字，而数据的产生是为改善我们的生活服务的，如何有效的利用这些海量数据成为当今人们关心的问题之一，因此，实现海量数据的有效管理、共享和数据的快速访问已经成为急需解决且极富有挑战性的问题。

云存储的出现为移动互联网和物联网所产生的海量数据提供了存储的空间，并使得实时在线处理成为可能。云存储作为一种提供海量数据存储服务的平台，创建、查找、传输和删除数据是云存储的基础。由于人们工作和娱乐，要依赖这些数据，如一位居住在成都的人士，想在北京获得单位的数据，如果他能在北京的相关服务器，不用到成都的单位服务器上获得所需数据，就会减少网络传输的时间和占用的网络带宽；又如在成都的用户需要一份数据较大的文件，虽然他可以在成都的服务器上得到，但在重庆、西安和武汉都有同样的文件，且能保证传输速率，这样可以把传输分解成多个任务，从不同地域的服务器上得到不同的文件快，在本地拼装成完整文件，这样可以减少传输时间，也减少了占用网络带宽的时间。

目前云存储中数据大多是同一文件均拷贝副本资源在同一服务器上，虽然能够在多点访问到该服务器，并对该文件进行下载和传输，但其传输速度会受到下载点和服务器之间的网络环境的影响，同时也会受到服务器的输出速度和下载点的下载速度的影响，这样就会对云存储中数据的调度速度造成极大的限制。

发明内容

本发明的目的在于提供一种云存储中数据快速调度的方法，解决目前云存储中数据的调度速度过慢的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种云存储中数据快速调度的方法，包括以下步骤：

步骤一，建立云储存共享系统，共享系统主要由国家级副本中心节点、中心调度节点、CA安全认证节点、区域子调度节点、区域副本中心节点、用户节点等组成，其中所述国家级副本中心节点、中心调度节点和CA安全认证节点依次相互交流信息，同区域的用户节点依次和该区域的区域副本中心节点、区域子调度节点相互交流信息，所述不同区域的区域子调度节点均和同一CA安全认证节点相互交流信息；所述中心调度节点和区域子调度节点主要负责在副本选择调度过程中对副本选择的控制，所述CA安全认证节点主要负责区域子调度节点在接入中心调度节点的安全认证，所述国家级副本中心节点负责所有区域副本中心节点的副本存储，由高性能计算机和集群组成，所述区域副本中心节点主要由管理员指定的高性能计算机或者集群组成，具有存储空间比较大、带宽比较大、稳定性比较高的特点，所述用户节点是用户自愿加入到云中的计算机，其性能和稳定性比较低；

步骤二，副本创建，分为基于内容分发的副本创建阶段和云副本的快速创建阶段，所述基于内容分发的副本创建阶段主要是根据每个区域副本中心的访问历史记录和区域中心之间的访问代价确定最佳区域副本中心节点，原始区域副本中心将新产生的文件在最佳区域副本中心节点上创建副本；所述云副本的快速创建阶段主要是当用户节点请求某一个不在与之同一区域的区域副本中心节点的文件，该区域的区域子调度节点通过副本定位算法向其它区域子调度节点发送文件请求，该区域副本中心节点保存从其他区域副本中心节点传输过来的文件，并同时传输给请求的用户节点；

步骤三，数据共享调度，利用副本域粒子群调度算法，由用户节点向区域子调度节点或者由区域子调度节点向中心调度节点发送请求，根据调度结果返回最优副本资源；

步骤四，当用户节点执行任务需要文件时，先检查本地是否存在该任务所需要的文件，如果不存在，就向该用户节点所在区域的区域副本中心节点发送文件请求，如果区域副本中心节点检查后发现存在该文件，则将该文件返回给用户节点，如果区域副本中心节点检查后发现不存在该文件，则有两种获取文件的方法：其一是区域副本中心节点向其他区域的区域副本中心节点发送文件请求，如果所请求的区域副本中心节存在数据，就将文件的传送给发出请求的区域副本中心节，同时自身创建文件副本，并把文件发送请求的用户节点；其二是区域副本中心节点通过区域子调度节点，经过CA安全认证节点向中心调度节点发送文件请求，中心调度节点查找最优的副本资源传送给区域副本中心节点，区域副本中心节点自行创建副本同时将文件传输到请求的用户节点。