[发明专利]一种提升数据库数据校验效率的系统及方法

说明书

本发明涉及数据校验技术领域，且公开了一种提升数据库数据校验效率的系统，包括：数据管理模块，接收数据，并且对不同的数据进行管理分类；数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输；RPC处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理；数据校验模块，数据节点通过RPC处理模块处理后，可对崩溃的数据节点进行标记校验；数据存储模块，对RPC处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。该提升数据库数据校验效率的系统及方法，通过设置数据传输模块和RPC处理模块，有效的提高了数据传输的灵活性，为系统各项功能提供了支持。

技术领域

本发明涉及数据校验技术领域，具体为一种提升数据库数据校验效率的系统及方法。

背景技术

数据校验是为保证数据的完整性进行的一种验证操作，通常用一种指定的算法对原始数据计算出的一个校验值，接收方用同样的算法计算一次校验值，如果两次计算得到的检验值相同，则说明数据是完整的。

随着大数据时代的发展，数据校验的方式越发完善，例如中国专利CN112749541A公开了一种数据校验系统、方法、装置、电子设备和计算机可读介质，该专利通过测试用例自动对第一数据集合和第二数据集合进行对比，确定对比后的目标数据，无需采用人工方式进行数据对比，提高了数据校验效率，但是在使用时，操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展，故此，提出一种提升数据库数据校验效率的系统及方法来解决上述的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种提升数据库数据校验效率的系统及方法，具备校验处理快速优点，解决了操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展的问题。

(二)技术方案

为实现上述校验处理快速的目的，本发明提供如下技术方案：一种提升数据库数据校验效率的系统，包括：

数据管理模块，接收数据，并且对不同的数据进行管理分类；

数据传输模块，将多个传输相同数据的请求合并为多播请求进行传输；

RPC处理模块，通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理；

数据校验模块，数据节点通过RPC处理模块处理后，可对崩溃的数据节点进行标记校验；

数据存储模块，对RPC处理模块处理完成以及数据校验模块校验完成的数据节点进行区别储存。

优选的，所述数据传输模块会申请发送结构体，并根据写请求对应的数据地址和数据大小等元数据信息填写结构体的头部字段，同时将数据放入发送结构体的数据字段，然后数据传输模块会将传输信息添加到填写完毕的发送结构体中，并将其打包成工作请求放人发送队列进行传输，网卡依次对工作请求进行处理，将数据以数据报的形式发送到各个目标数据节点，由数据节点中的接收处理程序进行处理并写入持久内存，当发送操作完成之后，元数据节点会触发中断通知发送完成处理程序，将工作完成从完成队列中移出，从中获取已完成的发送结构体地址并将对应空间释放回收。

优选的，所述RPC处理模块通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理.由于RPC采用多播通信机制实现，多播组中的所有数据节点均可以接收到元数据节点的请求，为增强RPC的灵活性，请求头部标识了源节点与目标节点，数据节点收到请求后首先判断该节点是否需要执行操作，从而避免冗余的请求对数据节点资源的占用。