[发明专利]大体量数据检索方法、系统和存储介质

说明书

本发明公开了一种大体量数据检索方法、系统和存储介质，一种大体量数据检索方法，包括：接收数据查询请求，数据查询请求包括待查询信息；通过预设算法对待查询信息进行处理得到待查询主键值；根据待查询主键值在预处理数据集中查询，得到数据查询结果，预处理数据集包括主键值列和主键值对应的数据列，主键值列和主键值对应的数据列为经过排列的有序序列，主键值列和主键值对应的数据列根据预设算法加密和压缩；发送数据查询结果。本发明实施例公开的大体量数据检索方法、系统和存储介质，能够提高大体量数据的检索效率。

技术领域

本发明实施例涉及数据检索技术，尤其涉及一种大体量数据检索方法、系统和存储介质。

背景技术

随着当今社会经济文化科技的发展，数据已经成为战略资源，数据的覆盖范围及体量越来越大，在人类社会发展中已经成为极为重要的生产资料，如何在大体量的数据结果中及时获得需要的信息，是一项挑战。

当前各种大数据处理平台的广泛推出、应用普及，这既是利好消息，但也使数据处理环境越来越复杂，成本越来越高昂，运维过程中的风险也越来越高。针对某些特殊场景提供适合的平台降低运营环境成本，降低运维风险，成为一个合理的诉求。

现有大数据查询技术多基于数据库技术完成存储，并在这种存储环境之上完成添加、修改、删除、查询的功能。这些技术因面对完整的数据库管理任务，无法针对仅完成查询的特定场景做查询效率优化，查询任务或因网络延迟，或因内存依赖及限制，或因底层查询算法限制，导致目前的方法及系统无法突破严苛的查询效率上限的限制，以至于无法满足大数据量的特定查询应用场景。

发明内容

本发明提供一种大体量数据检索方法、系统和存储介质，能够提高大体量数据的检索效率。

第一方面，本发明实施例提供一种大体量数据检索方法，包括：

接收数据查询请求，数据查询请求包括待查询信息；

通过预设算法对待查询信息进行处理得到待查询主键值；

根据待查询主键值在预处理数据集中查询，得到数据查询结果，预处理数据集包括主键值列和主键值对应的数据列，主键值列和主键值对应的数据列为经过排列的有序序列，主键值列和主键值对应的数据列根据预设算法加密和压缩；

发送数据查询结果。

在第一方面一种可能的实现方式中，接收数据查询请求，数据查询包括待查询信息之前，还包括：

将源数据规范化为主键值列和主键值对应的数据列；

使用预设加密算法对主键值列和主键值对应的数据列进行加密处理；

使用预设压缩算法对加密后的主键值列和主键值对应的数据列进行压缩处理；

对处理后的主键值列和主键值对应的数据列进行排序处理，得到预处理数据集。

在第一方面一种可能的实现方式中，预设加密算法包括md5算法或sha256算法；

使用预设压缩算法对加密后的主键值列和主键值对应的数据列进行压缩处理，包括：

对加密后的主键值列和主键值对应的数据列中，每两个加密后的字节作为一个16进制数值，将每个16进制数值转换为ASCII字符后以二进制形态保存到多个文件中，文件名为前n个字符。

在第一方面一种可能的实现方式中，通过预设算法对待查询信息进行处理得到待查询主键值，包括：

使用md5算法对待查的信息进行加密得到32位串值，并将32位串值作为字符串处理，通过ASCII字母表字符序列转化二进制可序列化形态算法将字符串压缩处理为16位字符串值；