[发明专利]一种远程数据存取处理系统

说明书

本发明提供一种远程数据存取处理系统，包括：数据处理服务器,储存服务器以及网络连接架构；数据处理服务器包括：多个计算节点；储存服务器包括：多个储存节点；系统将若干储存节点设置在储存服务器上，储存服务器结构上的储存节点相互独立，其中一个容量增长，不会影响到其他服务器。在用户服务器端，各储存节点被看做一体。这种相互独立的水平存储结构使得数据能够实现大容量扩展，保证大数据量。储存扩展接口连接扩展储存模块，对储存服务器的储存量进行扩充。扩大储存服务器储存量。

技术领域

本发明涉及数据存取处理领域，尤其涉及一种远程数据存取处理系统。

背景技术

当前的业务数据急剧增长，数据量已突破TB(terabytes)变为PB(petabytes)。如果用单一数据系统承载企业整体的数据，数据系统必然会越来越大，数据的急剧增长必将影响系统性能，增加费用支出。当前通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的网络构建数据系统，其I/O性能已遇到瓶颈，普通的存储性能增长率不能反映数据增长率，而且通过光纤集线器、光纤路由器、光纤交换机等连接设备扩展存在局限，为解决扩展局限，用户通常会添加新设备，重新安装数据库迁移数据。如果数据量再次增加，同样问题数据量存储的问题，用户不得不将数据备份到外部设备，以腾出空间。这样一个架构终究是无法解决基于数据量增加的储存问题。

发明内容

为了克服上述现有技术中的不足，本发明提供一种远程数据存取处理系统，包括：数据处理服务器,储存服务器以及网络连接架构；

数据处理服务器包括：多个计算节点；

储存服务器包括：多个储存节点；

计算节点通过网络连接架构分别与每个储存节点连接，计算节点用于将接收数据信息进行处理，并将数据信息储存至储存节点内；还用于根据数据提取指令，从指定的储存节点中提取数据信息，并发送至数据提取指令的发送方。

优选地，数据处理服务器还包括：数量与计算节点相同的存储虚拟模块；

存储虚拟模块与计算节点连接，计算节点将接收的数据信息暂存在存储虚拟模块，当存储虚拟模块储存的数据达到预设储存虚拟量时，计算节点将存储虚拟模块存储至储存节点中。

优选地，储存节点包括：数据传输接口以及多个储存模块；

每个储存模块分别与数据传输接口连接，每个储存模块通过数据传输接口连接网络连接架构。

优选地，储存节点还包括：缓存分层模块；

每个储存模块通过缓存分层模块与数据传输接口连接；

缓存分层模块用于计算节点从储存节点中调取数据时，当缓存分层模块中储有所述数据时，从缓存分层模块中调取；缓存分层模块中无所述数据时，从储存节点中的储存模块调取数据，并缓存到缓存分层模块中，在进行调取；

当计算节点对储存节点中的数据进行写操作时，将数据先写到缓存分层模块中，在对数据进行写数据完成后，将数据储存至储存节点中；

当计算节点对储存节点中的数据进行间断写操作时，将数据先写到缓存分层模块中，在对数据进行写数据，每经过一预设时长后，将缓存分层模块中存储的间断写数据储存至储存节点，当间断写数据操作完成后，将完成后的数据存储至储存节点，并替换在先储存的过程间断写数据。

优选地，网络连接架构采用RDMA协议，实现数据处理服务器与储存服务器之间的通信连接。

优选地，储存服务器还包括：数据管理模块；

数据管理模块用于获取各个储存节点的储存总容量，当前已储存数据容量以及剩余容量，获取各个储存节点的使用率，记录每个数据的使用率以及储存位置。