[发明专利]数据处理方法及系统

说明书

本申请实施例提供一种数据处理方法及系统。该方法包括：计算设备将接收到的数据获取请求中的目标数据表标识及目标数据特征发送给查询设备；查询设备根据存储的元数据库中的数据表的数据表标识及对应的计算设备标识，查询得到与目标数据表标识对应的目标计算设备标识，并将目标数据表标识及目标数据特征发送给与目标计算设备标识对应的目标计算设备，以经目标计算设备获得目标位置信息；计算设备根据由查询设备发送的目标位置信息从对应的目标存储设备处获得目标数据，并将根据数据获取请求对目标数据进行处理后得到的处理结果发送请求设备。由此，通过将计算资源及存储资源分离，可保证计算任务按照正常进度进行。

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种数据处理方法及系统。

背景技术

在现有的大数据计算存储结构中，同一集群同时用于计算及存储，也就是说计算资源与存储资源共用一套设备。在这样情况下，spark计算与hadoop mapreduce、hive计算会争抢内存资源，并且其他服务也会占用服务器本身的内存和cpu资源，由此将导致计算任务不能按照期望的进度进行。

发明内容

为了克服现有技术中的上述不足，本申请实施例的目的在于提供一种数据处理方法及系统，其能够使计算资源独立、存储资源独立，从而充分地利用设备的资源，并且保证计算任务可按照正常进度进行。

第一方面，本申请实施例提供一种数据处理方法，应用于数据处理系统，所述系统包括通信连接的存储设备、计算设备及查询设备，其中，每个存储设备中存储有不同的源数据，每个计算设备中存储有不同的数据表，所述方法包括：

所述计算设备在接收到由请求设备发送的数据获取请求后，将所述数据获取请求中的目标数据表标识及目标数据特征发送给所述查询设备；

所述查询设备根据存储的与所述目标数据表标识对应的元数据库中的数据表的数据表标识及对应的计算设备标识，查询得到与所述目标数据表标识对应的目标计算设备标识，并将所述目标数据表标识及目标数据特征发送给与所述目标计算设备标识对应的目标计算设备；

所述目标计算设备根据存储的数据表获得与所述目标数据特征对应的目标位置信息，并将所述目标位置信息发送给所述查询设备；

所述计算设备根据由所述查询设备发送的所述目标位置信息从对应的目标存储设备处获得目标数据，并将根据所述数据获取请求对所述目标数据进行处理后得到的处理结果发送所述请求设备。

可选地，在本申请实施例中，所述方法还包括：

所述计算设备在接收到的所述数据获取请求中包括目标计算设备标识、目标数据表标识及目标数据特征时，判断所述目标计算设备标识是否为自身的计算设备标识；

若是，所述计算设备则根据所述目标数据表标识及目标数据特征在本地数据存储库中获得目标数据，并将根据所述数据获取请求对所述目标数据进行处理后得到的处理结果发送所述请求设备；

若不是，所述计算设备则向所述请求设备返回用于指示无法获取与所述数据获取请求对应的数据的第一提示信息。

可选地，在本申请实施例中，所述元数据库为关系型数据库，所述方法还包括：

所述计算设备根据接收的数据表创建操作生成并保存所述数据表；

所述计算设备将创建的所述数据表的数据表标识及自身的计算设备标识发送给所述查询设备进行存储。

可选地，在本申请实施例中，所述计算设备将创建的所述数据表的数据表标识及自身的计算设备标识发送给所述查询设备进行存储的方式包括：

所述计算设备根据配置的关系型数据库的连接信息将创建的所述数据表的数据表标识及自身的计算设备标识发送给所述查询设备。

可选地，在本申请实施例中，所述方法还包括：