[发明专利]一种数据管理方法、数据分析系统、电子设备及存储介质

说明书

本申请公开了一种数据管理方法、数据分析系统、电子设备及存储介质，所属的技术领域为数据存储技术。所述数据管理方法应用于数据分析系统的计算节点，所述数据分析系统还包括多个存储节点，所述存储节点用于按照数据分片的形式组织管理数据，所述数据管理方法包括：接收数据操作请求，并为所述数据操作请求添加ID标识；生成所述数据操作请求对应的执行计划；若所述数据操作请求为数据插入请求，则根据所述ID标识计算目标分片位置，将所述执行计划发送至所述目标分片位置所在的目标存储节点。本申请能够提高数据分析系统的稳定性，实现可靠的数据写入。

技术领域

本申请涉及数据存储技术领域，特别涉及一种数据管理方法、数据分析系统、电子设备及存储介质。

背景技术

在数据分析系统中，用于数据存储的模块和用于数据检索的模块都运行在单一节点上面，两者通过共享内存或者管道等方式进行交互。但是在上述方案中，一旦出现单点故障，那么整个系统将处于不可用的状态，

因此，如何提高数据分析系统的稳定性，实现可靠的数据写入是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据管理方法、一种数据管理系统、一种数据分析系统、一种电子设备及一种存储介质，能够提高数据分析系统的稳定性，实现可靠的数据写入。

为解决上述技术问题，本申请提供一种数据管理方法，应用于数据分析系统的计算节点，所述数据分析系统还包括多个存储节点，所述存储节点用于按照数据分片的形式组织管理数据，所述数据管理方法包括：

接收数据操作请求，并为所述数据操作请求添加ID标识；

生成所述数据操作请求对应的执行计划；

若所述数据操作请求为数据插入请求，则根据所述ID标识计算目标分片位置，将所述执行计划发送至所述目标分片位置所在的目标存储节点，以便所述目标存储节点按照所述执行计划在所述目标分片位置执行追加写操作。

可选的，还包括：

通过Noise协议建立所述计算节点与所述存储节点的安全通道，以便利用所述安全通道传输交互数据。

可选的，在生成所述数据操作请求对应的执行计划之后，还包括：

若所述数据操作请求为数据查询请求，则将所述执行计划发送至所有所述存储节点，以便所有所述存储节点按照所述执行计划执行对应的数据查询操作得到查询结果；

接收所述存储节点返回的查询结果，根据所有所述查询结果向客户端返回所述数据操作请求的执行结果。

可选的，根据所有所述查询结果向客户端返回所述数据操作请求的执行结果，包括：

对具有相同主键的执行结果进行合并，得到合并结果；

将写入时间最晚的合并结果设置为所述数据操作请求的执行结果，并向所述客户端返回所述执行结果。

可选的，在为所述数据操作请求添加ID标识之前，还包括：

向发号器发送分配请求，以便所述发号器根据所述数据操作请求的接收时间生成所述ID标识；

相应的，在将写入时间最晚的合并结果设置为所述数据操作请求的执行结果之前，还包括：

根据所有所述合并结果对应的ID标识对所有所述合并结果的写入时间进行排序。

可选的，在将写入时间最晚的合并结果设置为所述数据操作请求的执行结果之后，还包括：

将所有所述合并结果中除了所述执行结果之外的合并结果设置为待删除数据，根据所述待删除数据的ID标识创建删除计划，并将所述删除计划发送至对应的存储节点中，以便删除所述待删除数据。