[发明专利]一种纠删任务处理系统、方法、电子设备及存储介质

说明书

本申请公开了一种纠删任务处理系统，所述纠删任务处理系统包括：数据切片调度单元，用于确定纠删任务对应的切片参数，并将切片参数发送至输入数据地址计算单元和输出数据地址计算单元；输入数据地址计算单元，用于根据切片参数计算每一输入切片数据块的第一地址信息；输出数据地址计算单元，用于根据切片参数计算每一输出切片数据块的第二地址信息；DMA单元，用于根据第一地址信息和第二地址信息控制纠删处理模块的输入和输出，以便完成纠删任务。本申请能够降低纠删任务处理对计算资源的占用。本申请还公开了一种纠删任务处理方法、一种存储介质及一种电子设备，具有以上有益效果。

技术领域

本申请涉及数据处理技术领域，特别涉及一种纠删任务处理系统、方法、电子设备及存储介质。

背景技术

面对海量数据的存储要求，分布式存储以其成本低廉，可扩展性好等优势逐渐取代了统一存储的主导地位，在理论研究和实际应用方面得到了越来越多的关注。分布式存储系统多以廉价的磁盘作为存储节点，每个存储节点的可靠性往往不会很高，另一方面，一个分布式存储系统通常包含很多的节点，由于软硬件故障，人为失误等原因，系统常常发生节点失效的情况。为了提高分布式存储系统的数据可靠性，保证数据收集节点能以很高的概率实现原始文件的重构，需要在存储原始数据的基础上，额外存储一定数量的冗余，使得在出现部分节点失效的情况下，系统仍然可以正常运行，数据收集节点仍然可以对原始文件实现解码恢复。同时，为了维持系统的可靠性，需要对失效的节点及时进行修复，因此，设计一个良好的节点修复机制十分重要。

现在业界在分布式存储中，对基于纠删码的编码和解码，大都使用如 intel-ISA,Jerasure2.0等开源软件的解决方案，即在CPU上运行RS (Reed-Solomon Code，里德所罗门码)相关的软件做纠删的编码和解码。但是上述常规的纠删任务处理方式需要占用较多的计算资源。

因此，如何降低纠删任务处理对计算资源的占用是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种纠删任务处理系统、方法、电子设备及存储介质，能够降低纠删任务处理对CPU计算资源的占用。

为解决上述技术问题，本申请提供一种纠删任务处理系统，该状态预警系统包括：

数据切片调度单元，用于确定所述纠删任务对应的切片参数，并将所述切片参数发送至输入数据地址计算单元和输出数据地址计算单元；其中，所述切片参数包括：预设切片大小、所述纠删任务的数据块大小、输入数据块数量和输出数据块数量；

所述输入数据地址计算单元，用于根据所述切片参数计算每一输入切片数据块的第一地址信息，并将所述第一地址信息发送至DMA单元；其中，所述第一地址信息包括所述输入切片数据块的起始地址和数据大小；

所述输出数据地址计算单元，用于根据所述切片参数计算每一输出切片数据块的第二地址信息，并将所述第二地址信息发送至所述DMA单元；其中，所述第二地址信息包括所述输出切片数据块的起始地址和数据大小；

所述DMA单元，用于根据所述第一地址信息和所述第二地址信息控制纠删处理模块的输入和输出，以便完成所述纠删任务。

可选的，所述数据切片调度单元包括：

切片参数确定子单元，用于根据所述DMA单元的调度方式和硬件输出的缓存能力设置所述预设切片大小；

或，参数自适应调整子单元，用于根据当前缓存空闲情况自适应调整所述预设切片大小。

可选的，所述纠删处理模块包括任务调度单元、输入数据调度单元、矩阵调度单元、输出数据调度单元、处理单元和输出数据调度单元；

其中，所述任务调度单元用于接收并解析纠删任务得到解析信息，并将所述解析信息发送至数据调度单元、矩阵调度单元、输出数据调度单元和所述数据切片调度单元；