[发明专利]云端大数据存储管理方法、装置、电子设备及存储介质

说明书

本发明涉及云计算技术，揭露一种云端大数据存储管理方法、装置、电子设备及存储介质，所述方法包括：将用户的存储数据切分成待存储数据切片；根据存储服务器中的节点数据计算存储负载，根据存储负载确定存储服务器的负载状况；负载均衡时，随机生成待存储数据切片的切片存储路线；负载失衡时，将存储服务器中数据节点编码为节点编号，将待存储数据切片维度初始化为切片维度值；根据构建的存储目标函数、节点编号及切片维度值计算切片存储路线；根据用户的存储规则及切片存储路线对待存储数据切片规则加密，得到加密切片，根据切片存储路线将加密切片部署在存储服务器的节点上。本发明可以实现云端数据均衡放置，提高数据存储的稳定性。

技术领域

本发明涉及云计算技术领域，尤其涉及一种云端大数据存储管理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着云计算的普及，软件即服务(Software-as-a-Service，Saas)逐渐成为云计算的一种重要表现形式。云中数据节点的缓存是提高多租户应用数据访问性能的一种重要资源，存储资源的分配显得十分重要。对于云服务提供商来说，多个存储设备之间通过软件集合起来进行协同工作，若将每个存储设备都看作一个数据节点,在进行云端存储时，往往需要保证云存储数据的稳定性，但各个设备的数据存储量(即服务器负载)通常并不均衡，进而导致数据存储的稳定性不高。现有技术中，通常利用主控服务器对所有存储服务器进行轮询，或者由各存储服务器周期性地向主控服务器发送心跳信息实现对存储服务器负载的监测。这两种方法仅适用于云存储系统规模较小的情况，在大数据存储中，随着云存储系统规模的进一步扩大，前一种方法会带来较大的延时，导致负载监测结点收集到的状态不能及时反映全局当前状态；后一种方法则会在心跳报文向上汇总时出现数据量膨胀的现象，对主控服务器产生类似于“洪泛攻击”的影响，针对这一问题，现有技术主要是降低心跳频率，但这会导致负载监测不够准确，进而无法均衡云端的数据存储。

因此，在进行云端大数据存储时实现云端数据均衡放置，提高数据存储的稳定性成为一个亟待解决的问题。

发明内容

本发明提供一种云端大数据存储管理方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决云端数据放置不均衡、数据存储的稳定性较低的问题。

为实现上述目的，本发明提供的一种云端大数据存储管理方法，包括：

接收用户的存储数据，对所述存储数据进行切分，得到多个待存储数据切片；

获取预设存储服务器中的节点数据，根据所述节点数据计算所述存储服务器的存储负载，并根据所述存储负载确定所述存储服务器的负载状况；

在所述存储服务器的负载状况为负载均衡时，随机生成所述待存储数据切片的切片存储路线；

在所述存储服务器的负载状况为负载失衡时，构建存储目标函数并对所述存储服务器中数据节点进行编码，得到节点编号，将所述待存储数据切片作为初始种群进行维度初始化，得到切片维度值；

根据所述存储目标函数、所述节点编号以及所述切片维度值进行种群优化计算，得到切片存储路线；

根据所述用户的存储规则以及所述切片存储路线对所述待存储数据切片进行规则加密，得到加密切片，并根据所述切片存储路线将所述加密切片部署在所述存储服务器的节点上。

可选地，所述对所述存储数据进行切分，得到多个待存储数据切片，包括：

对所述存储数据进行归类处理，得到结构化数据，

利用所述结构化数据对所述存储数据进行数据分割，得到初始数据切片；

对所述初始数据切片进行聚类拼接，得到待存储数据切片。

可选地，所述根据所述节点数据计算所述存储服务器的存储负载，包括：