[发明专利]大体量数据检索方法、系统和存储介质在审
申请号: | 202010597116.3 | 申请日: | 2020-06-28 |
公开(公告)号: | CN113849705A | 公开(公告)日: | 2021-12-28 |
发明(设计)人: | 郭奎海;贾海涛;李永超;马强;王俊虎 | 申请(专利权)人: | 海联金汇(北京)金融科技有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F16/901;G06F16/953;G06F21/60 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100000 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 体量 数据 检索 方法 系统 存储 介质 | ||
1.一种大体量数据检索方法,其特征在于,包括:
接收数据查询请求,所述数据查询请求包括待查询信息;
通过预设算法对所述待查询信息进行处理得到待查询主键值;
根据所述待查询主键值在预处理数据集中查询,得到数据查询结果,所述预处理数据集包括主键值列和主键值对应的数据列,所述主键值列和主键值对应的数据列为经过排列的有序序列,所述主键值列和主键值对应的数据列根据所述预设算法加密和压缩;
发送所述数据查询结果。
2.根据权利要求1所述的方法,其特征在于,所述接收数据查询请求,所述数据查询包括待查询信息之前,还包括:
将源数据规范化为主键值列和主键值对应的数据列;
使用预设加密算法对所述主键值列和主键值对应的数据列进行加密处理;
使用预设压缩算法对加密后的主键值列和主键值对应的数据列进行压缩处理;
对处理后的主键值列和主键值对应的数据列进行排序处理,得到所述预处理数据集。
3.根据权利要求2所述的方法,其特征在于,所述预设加密算法包括md5算法或sha256算法;
所述使用预设压缩算法对加密后的主键值列和主键值对应的数据列进行压缩处理,包括:
对加密后的主键值列和主键值对应的数据列中,每两个加密后的字节作为一个16进制数值,将每个16进制数值转换为ASCII字符后以二进制形态保存到多个文件中,文件名为前n个字符。
4.根据权利要求3所述的方法,其特征在于,所述通过预设算法对所述待查询信息进行处理得到待查询主键值,包括:
使用md5算法对所述待查的信息进行加密得到32位串值,并将所述32位串值作为字符串处理,通过ASCII字母表字符序列转化二进制可序列化形态算法将所述字符串压缩处理为16位字符串值;
或者使用sha256算法对所述待查询的信息进行加密得到64位串值,并将所述64位串值通过md5算法加密得到32位串值,并将所述32位串值作为字符串处理,通过ASCII字母表字符序列转化二进制可序列化形态算法将所述字符串压缩处理为16位字符串值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述待查询主键值在预处理数据集中查询,得到数据查询结果,包括:
根据所述待查询主键的前n个字符定位待查询文件,得到数据查询结果。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述根据所述待查询主键值在预处理数据集中查询,得到数据查询结果,包括:
根据所述待查询主键值,使用二分查找法在预处理数据集中查询,得到数据查询结果。
7.根据权利要求1~5任一项所述的方法,其特征在于,所述发送数据查询结果,包括:
将所述数据查询结果解压并解密后发送。
8.根据权利要求1~5任一项所述的方法,其特征在于,所述预处理数据集存储于多通道固态硬盘中。
9.一种大体量数据检索系统,其特征在于,包括:
接收模块,用于接收数据查询请求,所述数据查询请求包括待查询信息;
处理模块,用于通过预设算法对所述待查询信息进行处理得到待查询主键值;
查询模块,用于根据所述待查询主键值在预处理数据集中查询,得到数据查询结果,所述预处理数据集包括主键值列和主键值对应的数据列,所述主键值列和主键值对应的数据列为经过排列的有序序列,所述主键值列和主键值对应的数据列根据所述预设算法加密和压缩;
发送模块,用于发送所述数据查询结果。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~8中任一所述的大体量数据检索方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于海联金汇(北京)金融科技有限公司,未经海联金汇(北京)金融科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010597116.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置