[发明专利]实现搜索系统中索引数据同步的方法及系统

权利要求书

1.一种实现solr搜索系统中索引数据同步的方法，其特征在于，包括如下步骤：

企业资源计划系统对关系数据库中的原始数据进行数据变更处理；

存储原始数据的关系数据库中根据所述变更处理对数据变更后，生成记录所述数据变更情况的变更日志；

通过Maxwell组件实时获取所述变更日志数据，并且Maxwell组件将获取的变更日志数据批量发送给Kafka组件，Kafka组件接收变更日志数据后存储起来；

通过Spark引擎上运行的Spark Streaming作业读取Kafka组件存储的变更日志数据，解析读取的变更日志数据找到原始数据发生变化的部分以确定数据变更的部分；

根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步。

2.根据权利要求1所述的方法，其特征在于，根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步包括：

根据确定的数据变更的部分，通过Spark引擎上运行的Spark Streaming作业获取最新的数据；根据所述获取的最新数据对搜索系统的索引数据中对应部分进行同步。

3.根据权利要求1或2所述的方法，其特征在于，所述关系数据库为mysql，所述变更日志为binlog日志。

4.一种实现搜索系统中索引数据同步的方法，其特征在于，包括如下步骤：

存储原始数据的关系数据库中数据变更后，生成记录所述数据变更情况的变更日志；

对所述变更日志进行解析以确定数据变更的部分；

根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步。

5.根据权利要求4所述的方法，其特征在于，还包括：

通过Maxwell组件实时获取所述变更日志，并且Maxwell组件将获取的变更日志数据批量发送给Kafka组件，Kafka组件接收变更日志数据后存储起来。

6.根据权利要求5所述的方法，其特征在于，对所述变更日志进行解析以确定数据变更的部分包括：

通过Spark引擎上运行的Spark Streaming作业读取Kafka组件存储的变更日志数据，解析读取的变更日志数据找到原始数据发生变化的部分以确定数据变更的部分。

7.根据权利要求6所述的方法，其特征在于，根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步包括：

根据确定的数据变更的部分，通过Spark引擎上运行的Spark Streaming作业获取最新的数据；根据所述获取的最新数据对搜索系统的索引数据中对应部分进行同步。

8.根据权利要求4-7任一项所述的方法，其特征在于，所述关系数据库为mysql，所述变更日志为binlog日志。

9.一种实现搜索系统中索引数据同步的系统，其特征在于，包括：

变更日志生成处理模块，用于存储原始数据的关系数据库中数据变更后，生成记录所述数据变更情况的变更日志；

解析处理模块，对所述变更日志进行解析以确定数据变更的部分；

同步处理模块，用于根据确定的数据变更的部分对搜索系统的索引数据中对应部分进行同步。

10.根据权利要求9所述的系统，其特征在于，所述解析处理模块通过Maxwell组件实时获取所述变更日志，并且Maxwell组件将获取的变更日志数据批量发送给Kafka组件，Kafka组件接收变更日志数据后存储起来；

所述解析处理模块还通过Spark引擎上运行的Spark Streaming作业读取Kafka组件存储的变更日志数据，解析读取的变更日志数据找到原始数据发生变化的部分以确定数据变更的部分。