[发明专利]数据传输方法、装置、设备及存储介质

说明书

本发明涉及云处理领域，本发明公开了一种数据传输方法、装置、设备及存储介质，通过根据键值存储数据库LevelDB在消费者端设置目标存储层；在接收完生产者端发送的待处理数据时，将所述待处理数据缓存至所述目标存储层；在接收到数据消费指令时，通过所述目标存储层的输入输出接口将对应的目标数据进行传输，可以有效提高资源利用率，提升数据写入读取速度，保证了数据完整性，有效避免了数据丢失。

技术领域

本发明涉及云处理领域，尤其涉及一种数据传输方法、装置、设备及存储介质。

背景技术

在日常办公过程中，现阶段，各大公司开源项目中对于磁盘读写、数据库读写缓冲大多是利用消息队列实现，且多多是通过网络读写，但是存在资源利用率较低，可靠性较差且实现步骤比较繁琐的问题，如果本地磁盘损坏，则存在数据丢失的风险。

发明内容

本发明的主要目的在于提供一种数据传输方法、装置、设备及存储介质，旨在解决现有技术中磁盘读写存在资源利用率较低，可靠性较差且实现步骤比较繁琐的技术问题。

为实现上述目的，本发明提供一种数据传输方法，所述数据传输方法包括以下步骤：

根据键值存储数据库LevelDB在消费者端设置目标存储层；

在接收完生产者端发送的待处理数据时，将所述待处理数据缓存至所述目标存储层；

在接收到数据消费指令时，通过所述目标存储层的输入输出接口将对应的目标数据进行传输。

优选地，所述根据键值存储数据库LevelDB在消费者端设置目标存储层的步骤，包括：

在键值存储数据库LevelDB的基础上封装序列化功能API，根据所述序列化功能API设置虚拟存储层。

优选地，所述在键值存储数据库LevelDB的基础上封装序列化功能API，根据所述序列化功能API设置虚拟存储层的步骤，包括：

在键值存储数据库LevelDB的内存中分配出预设数量的目标内存空间；

根据预设排序函数和预设封装格式将序列化功能API与所述目标内存空间的操作代码结合，建立所述目标内存空间对应的操作接口；

将建立了操作接口的预设数量的目标内存空间作为目标存储层。

优选地，所述在接收完生产者端发送的待处理数据时，将所述待处理数据缓存至所述目标存储层的步骤，包括：

在接收完生产者端发送的待处理数据时，通过LevelDB将所述待处理数据以预设数据格式缓存至所述目标存储层。

优选地，所述在接收完生产者端发送的待处理数据时，通过LevelDB将所述待处理数据以预设数据格式缓存至所述目标存储层的步骤，包括：

在所述目标存储层中建立预设队列模式，根据所述预设队列模式持续接收生产者端发送的待处理数据；

在接收完所述生产者端发送的待处理数据时，在LevelDB中创建线程池，所述线程池中包括多个线程；

对所述待处理数据进行分析，获得所述待处理数据中各数据单元对应的数据类型；

将所述数据类型相同的数据单元分为一组，以组为单位根据预设传输策略为各组数据单元安排对应的目标线程。

根据预设数据格式对各组数据单元进行格式处理，将格式处理后的各组数据单元以对应的目标线程缓存至所述目标存储层。

优选地，所述在接收到数据消费指令时，通过所述目标存储层的输入输出接口将对应的目标数据进行传输的步骤，包括：