[发明专利]基于超融合架构的数据管理方法、系统、电子设备及介质

说明书

本发明涉及数据处理领域，提供了一种基于超融合架构的数据管理方法、系统、电子设备及介质，该方法包括在服务器部署分别连接若干客户端与分层资源管理平台的超融合架构；提取各个存储数据的标签，将属于相同标签的存储数据归为一类并存储至与存储数据类别对应的数据节点；实时接收客户端发起的数据调取请求，根据待调取数据的类别从分层资源管理平台调取对应的存储数据发送客户端；统计每类待调取数据的调取频率，将存储数据按照不同的调取频率存储至不同类别的数据存储模块。本发明通过分层资源管理平台对存储数据分层管理，便于管理大量的数据资源，使得在进行数据浏览和数据调取时，系统的运行速度更快，在进行数据检索和获取时，准确性更高。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于超融合架构的数据管理方法、系统、电子设备及介质。

背景技术

目前使用的超融合架构分层资源管理系统的数据资源部署方式为直接进行储存，或者对数据简单的进行分类储存。这类存储方式虽然非常简单，便于实施，但是由于存储的信息量极为巨大，因此使得在进行数据浏览和数据调取时，系统的运行速度较慢，在进行数据检索和获取时，其准确性较差。这使得目前的技术方案完全无法满足企业的需求。

发明内容

本发明的主要目的在于提供一种基于超融合架构的数据管理方法、系统、电子设备及介质，旨在解决现有的系统运行速度较慢，调取数据的准确性较差的问题。

为实现上述目的，本发明提供的一种基于超融合架构的数据管理方法，该方法包括：

部署步骤：在服务器上部署分别连接若干客户端与分层资源管理平台的超融合架构，所述分层资源管理平台包括多个数据节点，每个所述数据节点对应存储一类存储数据；

分类步骤：将所述若干客户端上传的存储数据进行聚合形成数据池，分别提取各个存储数据的标签，将属于相同标签的存储数据归为一类并存储至所述分层资源管理平台与存储数据类别对应的数据节点；

调取步骤：实时接收所述客户端发起的数据调取请求，解析所述数据调取请求得到待调取数据的标签，根据所述待调取数据的标签从所述分层资源管理平台调取对应的存储数据发送所述客户端；

统计步骤：定时统计每类所述待调取数据的调取频率，根据不同调取频率范围将所述分层资源管理平台中的存储数据进行二次分类，将经过二次分类的存储数据按照不同的调取频率存储至不同类别的数据存储模块。

优选地，所述数据存储模块包括用于存储调取频率落入预设数据范围内的存储数据的HDD硬盘、用于存储调取频率大于所述预设数据范围的存储数据的SSD固态硬盘，及用于存储调取频率小于所述预设数值范围的存储数据的氦气硬盘。

优选地，该方法还包括去重步骤：

对所述客户端上传的存储数据进行扫描检索，将重复的存储数据进行删除。

优选地，该方法还包括传输性能测试步骤：

采用第三方性能基准测试工具循环检测所述分层资源管理平台中的所有数据节点在网络上是否相互连通；

当存在不连通的所述数据节点时，终止测试，将该数据节点标记为第一节点，并记录所述第一节点的网卡名称。

优选地，所述传输性能测试步骤还包括：

当不存在不连通的所述数据节点时，采用所述第三方性能基准测试工具循环检测分层资源管理平台中的所有数据节点在内部网络上是否与超融合云平台相互连通；

当存在不连通的所述数据节点时，终止测试，将该数据节点标记为第二节点，并记录所述第二节点的网卡名称。

优选地，所述传输性能测试步骤还包括：

当不存在不连通的所述数据节点时，采用所述第三方性能基准测试工具循环检测分层资源管理平台中的所有数据节点是否存在网络堵塞；