[发明专利]一种分布式全文检索的索引实时更新的方法和系统有效
申请号: | 200910168335.3 | 申请日: | 2009-08-27 |
公开(公告)号: | CN101650741A | 公开(公告)日: | 2010-02-17 |
发明(设计)人: | 杨翊平;徐雄;蔡坚铮;李云;梁冰;余锦婷 | 申请(专利权)人: | 中国电信股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;H04L29/06 |
代理公司: | 中国国际贸易促进委员会专利商标事务所 | 代理人: | 宋海宁 |
地址: | 100032*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 全文 检索 索引 实时 更新 方法 系统 | ||
技术领域
本发明属于搜索引擎信息索引技术领域,尤其涉及一种分布式全文检索的索引实时更新的方法和系统。
背景技术
搜索引擎已成为人们查询和获取信息的重要手段。越来越多的网站开始使用基于搜索引擎的搜索来取代传统的数据库搜索。与传统的数据库查询方式不同,信息需要先建成索引方能通过搜索引擎检索得到。搜索引擎具有搜索速度快、搜索准确率高、支持多语言分词等优势。
但是,信息的实时更新是搜索引擎的难点。针对这个问题,业界已经研究了几种比较可行的解决方案:
第一,搜索引擎主动轮询数据库的方式
搜索引擎在后台启动一个轮询进程或线程,定时的扫描数据库数据,发现有更新数据时则读取更新的数据,再经过数据处理流程,将数据写入索引。这种方案实现简单,但具有以下缺点:
(1)数据库需要设置额外字段标志每一条记录的状态和操作时间,搜索引擎根据标志和操作时间读取需要更新的记录,对索引进行批量的增量更新。
(2)被删除记录需要在数据库中保存一段时间才能进行物理删除,增加了对存储空间的要求。
(3)部署数据库和搜索引擎的服务器需要进行时间同步,保证其时间的一致性。
(4)定时轮询对数据库系统形成一定压力。
第二,搜索引擎提供一个增量更新的服务接口的方式
该方案要求搜索引擎以服务的方式提供一个更新索引的接口,由数据更新系统主动对搜索引擎发起一个更新请求。服务接口一般采用同步通信方式,因此,一旦更新请求量比较大,系统性能将明显下降,无法支持大批量请求的实时更新。
发明内容
本发明提出一种实时更新索引信息的方法,并以该方法为基础,构建一个具有实时索引的分布式索引信息更新系统,使得对索引信息的更新操作能够实时的反映到索引中,可以被前端用户检索到更新后的索引信息。
根据本发明的一个方面,提出分布式全文检索的索引实时更新的方法,包括以下步骤:当有索引信息更新时,由信息发布服务器向通知服务器发送更新请求,在更新请求中包括索引分类信息的数据;由通知服务器将更新请求分配到对应的消息主题队列中,并将更新请求发送到订阅相应消息主题的请求分发器;每一个消息主题包含多类索引分类,负责维护所包含的索引分类对应的索引更新请求;根据记载有索引分类与索引服务器之间关系的路由信息表,由请求分发器向与索引分类对应的索引服务器发送更新请求;索引服务器接收请求分发器发送的索引更新请求,或主动向信息发布服务器发起数据访问请求,读取索引更新信息和操作类型;对读取到的索引更新信息按照索引结构进行字段规范化,根据操作类型对规范化后的索引更新信息进行增量操作,所述根据操作类型对规范化后的索引更新信息进行增量操作,包括如下之一:当新增索引更新信息时,直接加入内存索引;当删除索引更新信息时,判断要删除的索引更新信息位于内存索引还是文件索引,再直接进行删除;当修改索引更新信息时,判断索引更新信息位于内存索引还是文件索引,如果位于内存索引,删除原有记录,再将修改后的索引更新信息新增到内存索引;如果位于文件索引,在内存索引中新增索引更新信息,再从文件索引中删除该索引更新信息。
进一步,索引分类包括至少如下之一:地域、数据所属专业领域、索引日期、信息id范围。
进一步,建立记载有索引分类与索引服务器之间关系的路由信息表的操作,包括以下步骤:每个索引服务器均在请求分发器上注册,在注册请求中包括该索引服务器的索引分类;根据索引分类与索引服务器之间的对应关系建立路由信息表。
进一步,当内存索引到达设定条件时,将内存索引合并到文件索引。
进一步,还包括在内存索引故障时执行的容错控制,包括以下步骤:由容错模块将需要恢复的时间段信息、信息发布服务器信息发送到索引服务器,并通知其启动索引恢复过程进行内存索引恢复。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司,未经中国电信股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200910168335.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:保温装饰成品板安全保险锁片
- 下一篇:戒指锯断钳