[发明专利]一种数据搜索方法和装置在审
申请号: | 201810681785.1 | 申请日: | 2018-06-27 |
公开(公告)号: | CN108846121A | 公开(公告)日: | 2018-11-20 |
发明(设计)人: | 王全礼;邵小亮;陈飞;谢隆飞;尹泓钦;郑坚钢;徐文静;汪平;周芹 | 申请(专利权)人: | 中国建设银行股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 唐维虎 |
地址: | 100033 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据搜索 索引 读取器 方法和装置 并行搜索 内存增量 数据信息 搜索结果 索引搜索 磁盘 去重 服务器发送 应用服务器 接收应用 请求调用 实时性 合并 保证 | ||
1.一种数据搜索方法,应用于数据搜索服务器,其特征在于,所述方法包括:
接收应用服务器发送的数据搜索请求;
根据所述数据搜索请求调用磁盘全量索引对应的第一索引读取器和内存增量索引对应的第二索引读取器;
通过所述第一索引读取器和所述第二索引读取器进行数据并行搜索,并将通过所述第一索引读取器基于所述磁盘全量索引搜索到的数据信息进行去重处理;
将去重处理结果和通过所述第二索引读取器基于所述内存增量索引搜索到的数据信息进行合并作为搜索结果;
将所述搜索结果发送给所述应用服务器进行显示。
2.根据权利要求1所述的数据搜索方法,其特征在于,将通过所述第一索引读取器基于所述磁盘全量索引搜索到的数据信息进行去重处理的步骤包括:
获取用于保存删除数据的删除I D列表,并将该删除I D列表添加至所述第一索引读取器;
根据所述删除I D列表从所述第一索引读取器搜索到的数据信息中删除与该删除I D列表对应的数据信息。
3.根据权利要求1所述的数据搜索方法,其特征在于,所述方法还包括:
接收所述应用服务器发送的实时更新数据;
将所述实时更新数据写入待更新数据队列以使所述第二索引读取器读取该实时更新数据并将其更新到内存增量索引中;
判断所述内存增量索引是否满足新建条件,若满足,则删除当前内存增量索引,并进行新的内存增量索引的创建;
在完成新的内存增量索引的创建后对所述第二索引读取器进行更新。
4.根据权利要求1所述的数据搜索方法,其特征在于,判断所述内存增量索引是否满足新建条件的步骤包括:
判断当前时间点是否为所述内存增量索引的预设维护时间点;或者
判断所述内存增量索引中包含的索引数量是否达到预设值。
5.根据权利要求1所述的数据搜索方法,其特征在于,所述方法还包括:
按照预设时间间隔启动磁盘全量索引定时维护任务,并从数据库服务器中获取待做索引表和待更新数据列表;
根据所述待更新数据列表从所述数据库服务器中获取对应的待更新数据源;
将所述待更新数据源写入磁盘全量索引中,并将所述磁盘全量索引的写入结果写入所述待做索引表;
对所述第一索引读取器进行更新,并删除当前内存增量索引。
6.根据权利要求5所述的数据搜索方法,其特征在于,所述方法还包括:
根据所述待做索引表的写入结果判断是否存在写入异常的数据,若存在,则返回异常结果给所述应用服务器进行显示。
7.根据权利要求1所述的数据搜索方法,其特征在于,在进行应用重启后,所述方法还包括:
获取数据库服务器中的待做索引表,基于该待做索引表获取在应用重启之前的预设时长内的数据更新列表,并根据所述数据更新列表创建新的内存增量索引;
判断在进行内存增量索引创建期间是否存在新的更新数据产生,若存在,则基于该更新数据对创建的内存增量索引进行更新。
8.根据权利要求7所述的数据搜索方法,其特征在于,若在进行内存增量索引创建时的创建时间覆盖了预设的增量维护时间点,则删除已创建的内存增量索引,并进行新的内存增量索引的创建。
9.根据权利要求1所述的数据搜索方法,其特征在于,所述搜索服务器中预设有用于搜索结果排序的排序索引组,所述排序索引组中包括多个维度的排序规则;将所述搜索结果发送给所述应用服务器进行显示的步骤包括:
基于所述排序索引组中的排序规则对所述搜索结果进行排序,并将排序后的搜索结果发送给所述应用服务器进行显示。
10.一种数据搜索装置,应用于数据搜索服务器,其特征在于,所述装置包括:
请求接收模块,用于接收应用服务器发送的数据搜索请求;
读取器调用模块,用于根据所述数据搜索请求调用磁盘全量索引对应的第一索引读取器和内存增量索引对应的第二索引读取器;
数据搜索去重模块,用于通过所述第一索引读取器和所述第二索引读取器进行数据并行搜索,并对通过所述第一索引读取器基于所述磁盘全量索引搜索到的数据信息进行去重处理;
结果合并模块,用于将去重处理结果和通过所述第二索引读取器基于所述内存增量索引搜索到的数据信息进行合并作为搜索结果;
结果返回模块,用于将所述搜索结果发送给所述应用服务器进行显示。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国建设银行股份有限公司,未经中国建设银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810681785.1/1.html,转载请声明来源钻瓜专利网。