[发明专利]一种无损恢复的分布式多语种检索平台及其方法

权利要求书

1.一种无损恢复的分布式多语种检索平台，其特征在于，包括：

主节点以及与主节点相互通信的分布式节点；主节点和分布式节点分别对应与一外存设备相连，所述外存设备被配置为间隔预设时间存储与其相连的主节点或分布式节点所接收的数据及内存状态；在故障恢复时，将外存设备内的数据直接恢复到本地内存，并调整数据、操作路由算法，使之指向新的节点；

所述主节点被配置为：向分布式节点下发查询符合检索条件的多语种数据；

所述分布式节点被配置为：

在索引内存缓存层的热点索引表中查询符合检索条件的多语种数据；所述热点索引表中存在有访问频度不小于预设访问频度阈值的多语种数据；

当热点索引表中存在符合检索条件的多语种数据时，则直接将查询到的多语种数据上传至主节点；

当热点索引表中不存在符合检索条件的多语种数据时，则转到索引持久化存储层继续查询符合检索条件的多语种数据，并将查询结果上传至主节点。

2.如权利要求1所述的无损恢复的分布式多语种检索平台，其特征在于，主节点和分布式节点还分别与对应一备份节点相连；

当主节点或分布式节点失效时，相应备份节点代替与其相连的主节点或分布式节点工作。

3.如权利要求1所述的无损恢复的分布式多语种检索平台，其特征在于，在所述分布式节点中，所述索引持久化存储层中持久化存储有HBase，所述HBase中存储有多个非主键属性索引表，每个非主键属性索引表用来对应存储管理用户表中的一个待查询非主键属性的索引。

4.如权利要求1所述的无损恢复的分布式多语种检索平台，其特征在于，所述索引内存缓存层为分布式内存缓存，使用一致性哈希来确定数据所在的服务器节点；在分布式节点发生变化时，只有和变化分布式节点相邻的节点数据需要迁移。

5.如权利要求1所述的无损恢复的分布式多语种检索平台，其特征在于，在所述分布式节点中，在索引内存缓存层中执行查询请求时，内存缓存的服务进程对访问到的每条索引数据记录本周期内的访问次数，直到查询请求次数达到预设访问次数阈值，即到达热度计算周期时，服务进程触发缓存的更新替换。

6.如权利要求1所述的无损恢复的分布式多语种检索平台，其特征在于，在所述分布式节点中，根据索引集合在相应周期内的被访问次数计算所有记录的热度，根据热度排序，将热度排序位于前K位的集合记录缓存到内存中；其中，K为热度门限值；根据缓存空间能够容纳的记录条数限制计算出热度门限K，高于热度门限的集合被缓存到内存中。

7.一种如权利要求1-6中任一项所述的无损恢复的分布式多语种检索平台的工作方法，其特征在于，包括：

在故障恢复时，将外存设备内的数据直接恢复到本地内存，并调整数据、操作路由算法，使之指向新的节点；

在查询数据时，主节点向分布式节点下发查询符合检索条件的多语种数据；

分布式节点在索引内存缓存层的热点索引表中查询符合检索条件的多语种数据；热点索引表中存在有访问频度不小于预设访问频度阈值的多语种数据；

当热点索引表中存在符合检索条件的多语种数据时，则直接将查询到的多语种数据上传至主节点；

当热点索引表中不存在符合检索条件的多语种数据时，则转到索引持久化存储层继续查询符合检索条件的多语种数据，并将查询结果上传至主节点。

8.如权利要求7所述的无损恢复的分布式多语种检索平台的工作方法，其特征在于，在故障恢复时，主节点或分布式节点失效时，相应备份节点代替与其相连的主节点或分布式节点工作。

9.如权利要求7所述的无损恢复的分布式多语种检索平台的工作方法，其特征在于，在索引内存缓存层中执行查询请求时，内存缓存的服务进程对访问到的每条索引数据记录本周期内的访问次数，直到查询请求次数达到预设访问次数阈值，即到达热度计算周期时，服务进程触发缓存的更新替换。

10.如权利要求7所述的无损恢复的分布式多语种检索平台的工作方法，其特征在于，根据索引集合在相应周期内的被访问次数计算所有记录的热度，根据热度排序，将热度排序位于前K位的集合记录缓存到内存中；其中，K为热度门限值；根据缓存空间能够容纳的记录条数限制计算出热度门限K，高于热度门限的集合被缓存到内存中。