[发明专利]一种基于内存数据网格的数据处理方法及系统

说明书

本发明提供一种基于内存数据网格的数据处理方法及系统，其中，方法包括：获取待处理数据；解析待处理数据，获取多个数据处理任务；对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对任务节点。本发明基于内存数据网格的数据处理方法，将待处理数据细分为多个处理任务，以内存数据网格内的处理节点与处理任务进行适配，提高处理数据的速度。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于内存数据网格的数据处理方法及系统。

背景技术

目前，内存数据网格IMDG是内存数据库，它的主要目标是在物理内存不足的情况下，提高内存密集型应用或IO密集型应用的系统性能，内存数据网格被视为处理迅速、多样和大数据量的大数据的一种方式，将数据存储到内存中，并使其分布到多个服务器上。

为了使内存数据网格具有更广的应用前景，如何提高基于内存数据网格的数据处理的速度，是亟需解决的技术问题。

发明内容

本发明目的之一在于提供了一种基于内存数据网格的数据处理方法，将待处理数据细分为多个处理任务，以内存数据网格内的处理节点与处理任务进行适配，提高处理数据的速度。

本发明实施例中提供的一种基于内存数据网格的数据处理方法，包括：

获取待处理数据；解析待处理数据，获取多个数据处理任务；

对内存数据网格上的处理节点进行筛选，获取多个任务节点；数据处理任务与任务节点一一对应；

将数据处理任务在内存数据网格的第一存储位置的第一存储位置信息以及预设的用于接收数据处理任务的处理结果的第二存储位置的第二存储位置信息发送至对应的任务节点。

优选的，对内存数据网格上的处理节点进行筛选，获取多个任务节点，包括：

获取内存数据网格上处理节点的状态；

获取当前状态为空闲的处理节点的处理性能；

解析数据处理任务，确定对应的处理能力需求；

基于处理能力需求与处理节点的处理性能的匹配，确定数据处理任务对应的任务节点；

和/或，

获取数据处理任务的数据来源的第一位置信息；

获取处理节点的第二位置信息；

基于第一位置信息与第二位置信息进行匹配，确定数据处理任务对应的任务节点；

其中，处理性能包括：处理的数据类型、处理数据的速度、历史数据处理任务达成率和处理节点的稳定性其中一种或多种结合；

处理节点的稳定性通过如下步骤确定：

检测当前处理节点的运行参数，将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值；根据概率值确定处理节点的稳定性；

预测模型包括：基于大量的历史节点监测报告的不同运行参数建立多个判定向量，及一一对应于判定向量的多个预测值；预测值为处理节点出现异常的概率值；

将运行参数代入预先建立的预测模型中确定处理节点出现异常的概率值，包括：

对运行参数进行特征提取，获得检测向量；

计算检测向量与每个判定向量的相似度，计算公式如下：

；

其中，为检测向量与第个判定向量的相似度；为检测向量的第个元素值；为第个判定向量的第个元素值；以相似度值最大的判定向量对应的预测值确定当前处理节点的稳定值，基于稳定值表示处理节点的稳定性；稳定值计算公式如下：

;

其中，为相似度值最大的判定向量对应的预测值，为稳定值。