[发明专利]一种大数据的高效处理方法及系统

权利要求书

1.一种大数据的高效处理方法，该方法包括下列顺序的步骤：

（1）数据节点接收待存储的数据；

（2）数据节点对数据进行存储，同时，根据业务场景创建索引并保存在内存中，并通过索引固化逐步保存在磁盘中；

（3）用户输入任务请求，SQL引擎根据创建的索引实现数据快速检索，并向计算节点输出数据；

（4）管理节点的任务处理模块执行任务调度，并向资源管理模块申请资源，确定空闲的计算节点，并由该计算节点对数据进行处理； 

（5）将最终的处理数据呈现给用户。

2.根据权利要求1所述的大数据的高效处理方法，其特征在于：所述数据节点接收的数据类型包括结构化、半结构化和非结构化数据。

3.根据权利要求1所述的大数据的高效处理方法，其特征在于：在进行数据存储和索引创建时，首先，根据业务场景创建索引规则，接着对接收的数据进行存储，存储在硬盘内，同时，在分布式文件系统的基础上运用blur+lencense组件构建索引，索引面向业务应用场景建立，按照索引数据形成在后、使用程度较高的条件选取并存储在内存存储模块内。

4.根据权利要求1所述的大数据的高效处理方法，其特征在于：在进行检索时，由用户提交查询请求，控制模块对输入的查询请求信息进行分析，控制模块采用SQL引擎首先对查询条件进行自动语义识别，首先从内存存储模块内存储的索引中对目标进行查找，通过查找到的索引去磁盘中获得原始数据，并将数据返回、呈现给用户；如果查找不到，再到磁盘索引存储区进行查找。

5.根据权利要求1所述的大数据的高效处理方法，其特征在于：所述任务处理模块将根据任务的优先级、难易程度情况向资源管理模块申请资源，资源管理模块依据调度算法给出具体的任务处理资源，返回给任务处理模块，任务处理模块对相应的计算节点下发任务。

6.根据权利要求3所述的大数据的高效处理方法，其特征在于：所述的索引先存储在内存存储模块内，通过内存工作机制将超过内存存储容量的索引文件固化到磁盘中进行保存，以分布式文件的形式进行多副本存储，索引文件存入磁盘工作机制以内存存储区大小、索引形成先后顺序和索引文件使用程度参数为依据进行固化，将最先形成、使用程度最低的索引先固化到磁盘，固化到磁盘的索引文件是分布式存储的。

7.一种大数据高效处理系统，其特征在于：包括：

存储及索引创建模块，数据节点对接收到的数据进行存储，同时，根据业务场景创建索引，首先将索引文件保存在内存存储模块中，再逐步保存在磁盘中；

检索模块，SQL引擎根据创建的索引，实现数据快速检索，并向计算节点输出数据；

处理模块，执行任务的调度，申请资源，对资源进行管理，并同时负责任务的切分、处理、归并、失败任务重启的功能，最终完成任务的执行。

8.根据权利要求7所述的大数据高效处理系统，其特征在于：所述处理模块包括：

资源管理模块，实现对计算模块资源的管理，通过计算节点客户端，适时感知计算节点的资源使用情况，随时准备动态为任务分配资源；

任务处理模块，接收任务，根据任务的优先级、难易程度情况向资源管理模块申请资源，资源管理模块依据调度算法给出具体的任务处理资源，返回给任务处理模块，任务处理模块负责将任务传递给给定的计算模块，并同时负责任务的切分、处理、归并、失败任务重启的功能，最终完成任务的执行；

计算模块，具体执行任务的物理或者虚拟资源节点。