[发明专利]实现搜索系统中索引数据同步的方法及系统有效
| 申请号： | 201910751293.X | 申请日： | 2019-08-15 |
| 公开（公告）号： | CN110471925A | 公开（公告）日： | 2019-11-19 |
| 发明（设计）人： | 李翀;王腾飞;曾依灵;吴岗 | 申请（专利权）人： | 浙江执御信息技术有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/23;G06F16/27 |
| 代理公司： | 33293 杭州快知知识产权代理事务所(特殊普通合伙) | 代理人： | 张超;杨冬玲<国际申请>=<国际公布>= |
| 地址： | 310011 浙江省杭州市拱*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种实现搜索系统中索引数据同步的方法及系统，所述方法中存储原始数据的关系数据库中数据变更后，生成记录所述数据变更情况的变更日志；对所述变更日志进行解析以确定数据变更的部分；根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步。由于仅是针对数据变更的部分对搜索系统的索引数据中对应部分进行同步，因此，同步数据量小，大大减少索引数据同步的时间，且实时同步更新数据变更的部分，保证了数据的实时性；另外，由于仅是针对数据变更的部分对搜索系统的索引数据中对应部分进行同步，短时间内同步数据变化较小，少量的同步操作基本不影响查询性能，且需要同步的数据量可控，扩展性更好。 | ||
| 搜索关键词： | 数据变更 索引数据 搜索系统 同步的 变更 日志 存储原始数据 关系数据库 同步数据量 查询性能 更新数据 实时同步 同步操作 同步数据 扩展性 实时性 数据量 可控 解析 记录 保证 | ||
【主权项】：
1.一种实现solr搜索系统中索引数据同步的方法，其特征在于，包括如下步骤：/n企业资源计划系统对关系数据库中的原始数据进行数据变更处理；/n存储原始数据的关系数据库中根据所述变更处理对数据变更后，生成记录所述数据变更情况的变更日志；/n通过Maxwell组件实时获取所述变更日志数据，并且Maxwell组件将获取的变更日志数据批量发送给Kafka组件，Kafka组件接收变更日志数据后存储起来；/n通过Spark引擎上运行的Spark Streaming作业读取Kafka组件存储的变更日志数据，解析读取的变更日志数据找到原始数据发生变化的部分以确定数据变更的部分；/n根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江执御信息技术有限公司，未经浙江执御信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910751293.X/，转载请声明来源钻瓜专利网。
- 上一篇：数据处理方法、装置、计算机设备及存储介质
- 下一篇：一种档案建立方法及装置
