[发明专利]一种无损恢复的分布式多语种检索平台及其方法

说明书

本公开提供了无损恢复的分布式多语种检索平台及其方法。其中，无损恢复的分布式多语种检索平台，包括主节点以及与主节点相互通信的分布式节点；主节点和分布式节点分别对应与一个外存设备相连，外存设备被配置为间隔预设时间存储与其相连的主节点或分布式节点所接收的数据及内存状态；在故障恢复时，将外存设备内的数据直接恢复到本地内存，并调整数据、操作路由算法，使之指向新的节点；主节点被配置为向分布式节点下发查询符合检索条件的多语种数据；分布式节点被配置为在索引内存缓存层的热点索引表中查询符合检索条件的多语种数据；所述热点索引表中存在有访问频度不小于预设访问频度阈值的多语种数据。

技术领域

本公开属于多语种大数据处理领域，尤其涉及一种无损恢复的分布式多语种检索平台及其方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在确保高效计算、确保正确结果和实时响应的前提下，必须保证系统的高可用性，即发生故障时，实施最快速度的、用户无感知的故障恢复和持续服务。发明人发现，现有流数据处理引擎故障恢复机制还有严重缺陷，会造成数据丢失。另外，当面向海量大数据检索时，要对全表扫描或访问多磁盘，这样降低了索引表查询速度。

发明内容

为了解决上述问题，本公开提供一种无损恢复的分布式多语种检索平台及其方法，其降低内存资源消耗且提高索引表查询速度。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一方面提供一种无损恢复的分布式多语种检索平台。

一种无损恢复的分布式多语种检索平台，包括：

主节点以及与主节点相互通信的分布式节点；主节点和分布式节点分别对应与一外存设备相连，所述外存设备被配置为间隔预设时间存储与其相连的主节点或分布式节点所接收的数据及内存状态；在故障恢复时，将外存设备内的数据直接恢复到本地内存，并调整数据、操作路由算法，使之指向新的节点；

所述主节点被配置为：向分布式节点下发查询符合检索条件的多语种数据；

所述分布式节点被配置为：

在索引内存缓存层的热点索引表中查询符合检索条件的多语种数据；所述热点索引表中存在有访问频度不小于预设访问频度阈值的多语种数据；

当热点索引表中存在符合检索条件的多语种数据时，则直接将查询到的多语种数据上传至主节点；

当热点索引表中不存在符合检索条件的多语种数据时，则转到索引持久化存储层继续查询符合检索条件的多语种数据，并将查询结果上传至主节点。

本公开的第二方面提供一种无损恢复的分布式多语种检索平台的工作方法。

一种无损恢复的分布式多语种检索平台的工作方法，包括：

在故障恢复时，将外存设备内的数据直接恢复到本地内存，并调整数据、操作路由算法，使之指向新的节点；

在查询数据时，主节点向分布式节点下发查询符合检索条件的多语种数据；

分布式节点在索引内存缓存层的热点索引表中查询符合检索条件的多语种数据；热点索引表中存在有访问频度不小于预设访问频度阈值的多语种数据；

当热点索引表中存在符合检索条件的多语种数据时，则直接将查询到的多语种数据上传至主节点；

当热点索引表中不存在符合检索条件的多语种数据时，则转到索引持久化存储层继续查询符合检索条件的多语种数据，并将查询结果上传至主节点。

本公开的有益效果是：