[发明专利]基于内存计算的大数据分布式数据交互系统的实现方法

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于内存计算的大数据分布式数据交互系统的实现方法。

背景技术

大数据时代，数据的快速生成，快速交易，传统的数据交换体系在快速处理数据时往往显得力不从心。

传统的数据交换体系主要依赖与传统的存储系统，传统存储系统最大的瓶颈就是I/O，多而频繁的交互，导致传统存储系统性能直线下降；传统的存储系统，虽然可以通过并行，虚拟化等方式来规避瓶颈，但是其成本也是异常的昂贵；传统的数据交换体系，最大的问题在于不同文件系统间的数据无法进行直接交互，必须要通过其他繁琐的方式来进行交互。

发明内容

本发明提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：

A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；

B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；

C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。

作为本发明的进一步改进，所述交互子节点为多个。

作为本发明的进一步改进，所述交互子节点的存储器包括内存、SSD或硬盘。

作为本发明的进一步改进，所述交互系统主控器包括索引数据。

作为本发明的进一步改进，所述交互系统主控器包括心跳检测数据。

本发明还提供了一种基于内存计算的大数据分布式数据交互系统，包括：

交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；

交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；

底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。

作为本发明的进一步改进，所述交互子节点为多个。

作为本发明的进一步改进，所述交互子节点的存储器包括内存、SSD或硬盘。

作为本发明的进一步改进，所述交互系统主控器包括索引数据。

作为本发明的进一步改进，所述交互系统主控器包括心跳检测数据。

本发明的有益效果是：本发明是基于内存、数据访问为中心设计发明的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。

附图说明

图1是本发明的数据交互系统的原理框图。

具体实施方式

本发明公开了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：

A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；

B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；

C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。

所述交互子节点为多个，所述交互子节点的存储器包括内存、SSD或硬盘，所述交互系统主控器包括索引数据，所述交互系统主控器包括心跳检测数据。

工作时，具体为：

1.查询客户端对数据交互系统发起数据请求；

2.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；

3.查询客户端接收到交互系统主控制器传回的数据时，反馈给上层应用；当查询客户端接收交互系统主控制器传回的访问交互子节点时，自动向交互子节点发出查询请求；