[发明专利]数据传输方法、装置、设备及存储介质有效
申请号: | 201910202064.2 | 申请日: | 2019-03-16 |
公开(公告)号: | CN110069557B | 公开(公告)日: | 2023-10-20 |
发明(设计)人: | 袁宝驹;杨洋;沙成阳;朱红晓 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/22 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 胡海国 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据传输 方法 装置 设备 存储 介质 | ||
1.一种数据传输方法,其特征在于,所述方法包括:
根据键值存储数据库LevelDB在消费者端设置目标存储层;
在接收完生产者端发送的待处理数据时,将所述待处理数据缓存至所述目标存储层;
在接收到数据消费指令时,通过所述目标存储层的输入输出接口将对应的目标数据进行传输。
2.如权利要求1所述的方法,其特征在于,所述根据键值存储数据库LevelDB在消费者端设置目标存储层的步骤,包括:
在键值存储数据库LevelDB的基础上封装序列化功能API,根据所述序列化功能API设置虚拟存储层。
3.如权利要求2所述的方法,其特征在于,所述在键值存储数据库LevelDB的基础上封装序列化功能API,根据所述序列化功能API设置虚拟存储层的步骤,包括:
在键值存储数据库LevelDB的内存中分配出预设数量的目标内存空间;
根据预设排序函数和预设封装格式将序列化功能API与所述目标内存空间的操作代码结合,建立所述目标内存空间对应的操作接口;
将建立了操作接口的预设数量的目标内存空间作为目标存储层。
4.如权利要求3所述的方法,其特征在于,所述在接收完生产者端发送的待处理数据时,将所述待处理数据缓存至所述目标存储层的步骤,包括:
在接收完生产者端发送的待处理数据时,通过LevelDB将所述待处理数据以预设数据格式缓存至所述目标存储层。
5.如权利要求4所述的方法,其特征在于,所述在接收完生产者端发送的待处理数据时,通过LevelDB将所述待处理数据以预设数据格式缓存至所述目标存储层的步骤,包括:
在所述目标存储层中建立预设队列模式,根据所述预设队列模式持续接收生产者端发送的待处理数据;
在接收完所述生产者端发送的待处理数据时,在LevelDB中创建线程池,所述线程池中包括多个线程;
对所述待处理数据进行分析,获得所述待处理数据中各数据单元对应的数据类型;
将所述数据类型相同的数据单元分为一组,以组为单位根据预设传输策略为各组数据单元安排对应的目标线程。
根据预设数据格式对各组数据单元进行格式处理,将格式处理后的各组数据单元以对应的目标线程缓存至所述目标存储层。
6.如权利要求5所述的方法,其特征在于,所述在接收到数据消费指令时,通过所述目标存储层的输入输出接口将对应的目标数据进行传输的步骤,包括:
在接收到数据消费指令时,根据所述数据消费指令在所述目标存储层中找到对应的数据索引,作为目标数据索引;
根据所述目标数据索引查找到对应的目标数据,通过所述目标存储层的输入输出接口将所述目标数据进行传输。
7.如权利要求1-6中任一项所述的方法,其特征在于,所述在接收到数据消费指令时,通过所述目标存储层的输入输出接口将对应的目标数据进行传输的步骤之后,所述方法还包括:
获取所述目标数据的当前调用状态;
根据所述当前调用状态获取所述目标数据的缓存时间;
将所述缓存时间与预设缓存时间比较,确定所述目标数据对应的缓存是否为超时缓存;
在所述目标数据对应的缓存为超时缓存时,将所述目标数据对应的缓存在所述目标存储层中删除。
8.一种数据传输装置,其特征在于,所述装置包括:设置模块、缓存模块和传输模块;
其中,所述设置模块,用于根据键值存储数据库LevelDB在消费者端设置目标存储层;
缓存模块,用于在接收完生产者端发送的待处理数据时,将所述待处理数据缓存至所述目标存储层;
传输模块,用于在接收到数据消费指令时,通过所述目标存储层的输入输出接口将对应的目标数据进行传输。
9.一种数据传输设备,其特征在于,所述数据传输设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据传输程序,所述数据传输程序配置为实现如权利要求1至7中任一项所述的数据传输方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有数据传输程序,所述数据传输程序被处理器执行时实现如权利要求1至7中任一项所述的数据传输方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910202064.2/1.html,转载请声明来源钻瓜专利网。