[发明专利]一种分布式终端数据查询系统及方法

说明书

本发明公开一种分布式终端数据查询系统及方法，涉及数据检索服务领域。本发明包括，存储原始数据文件；提取原始数据文件；根据原始数据文件获取文件关键词；建立文件关键词与具有文件关键词的原始数据文件的存储地址映射；获取用户输入待查询语句；将待查询语句转化为检索关键词；根据检索关键词匹配文件关键词得到重合关键词和/或非重合检索关键词；根据重合关键词以及文件关键词与具有文件关键词的原始数据文件的存储地址的映射获取待查询语句对应的原始数据文件；若存在非重合检索关键词，则直接根据非重合检索关键词检索原始数据文件，得到待查询语句对应的原始数据文件。本发明提高了分布式存储查询服务的检索效率。

技术领域

本发明属于数据检索服务技术领域，特别是涉及一种分布式终端数据查询系统及方法。

背景技术

由于存储硬件限制以及用户的广泛分布，使得数据的查询终端和存储服务器都不会是位于同一位置，需要数据的存储和查询均需要分布式部署。但是受限于分布式部署的节点之间的通讯带宽有限，难以保障高并发的查询请求。不仅如此，频繁对分散部署的存储服务器进行全盘检索也容易导致存储设备过载，降低数据检索的效率。

在公开号为CN115422293A的专利中公开了一种分布式数据库及其数据检索方法，涉及数据检索技术领域，所述分布式数据库包括处理模块、聚合模块和存储模块。本发明能够对时序数据段的时间段、时间精度和时间热度进行评估，从而将时间段、时间精度和时间热度均相同的聚合文件均匀地分散在不同的数据存储节点上。上述方案需要对文件进行迁移平衡操作，部署效率较低，而且检索过程中需要对源数据文件进行检索操作，消耗大量数据读取性能。

发明内容

本发明的目的在于提供一种分布式终端数据查询系统及方法，通过对原始文件进行词频分析后创建文件关键词与原始文件存储地址的映射进行分类，提高了分布式存储查询服务的检索效率。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明提供一种分布式终端数据查询方法，包括，

提取所述原始数据文件；

根据所述原始数据文件获取文件关键词；

建立所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射；

获取用户输入的待查询语句；

将所述待查询语句转化为若干个检索关键词；

根据所述检索关键词匹配所述文件关键词得到重合关键词和/或非重合检索关键词；

根据所述重合关键词以及所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射获取所述待查询语句对应的所述原始数据文件；

若存在所述非重合检索关键词，则直接根据所述非重合检索关键词检索所述原始数据文件，得到所述待查询语句对应的所述原始数据文件；

建立所述非重合检索关键词与对应所述原始数据文件的存储地址的映射；

将所述非重合检索关键词纳入所述文件关键词。

在本发明的一个实施例中，所述根据所述原始数据文件获取文件关键词的步骤，包括，

建立文件关键词数据库和字典缓存数据库，其中所述文件关键词数据库中记录每个所述文件关键词以及对应的出现数量；

按照每个所述原始数据文件的存储地址的字符串大小顺序依次在所述原始数据文件中提取出若干个字典关键词；

对于每一个所述原始数据文件，将提取出来的所述字典关键词存入字典缓存数据库；

对所述字典缓存数据库中的所述字典关键词进行词频统计得到每个所述字典关键词的出现数量；