[发明专利]数据同步方法及装置、电子设备及计算机可读存储介质

权利要求书

1.一种数据同步方法，其特征在于，包括：

预先建立用于数据同步服务的公共服务组件；

基于所述公共服务组件同步数据源与至少两个搜索库之间的数据；

其中，不同的搜索库对应不同的搜索入口，

所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

监控所述搜索库中是否存在更新频率大于预设阈值的异常字段；若存在所述异常字段，则调小所述异常字段的更新线程数，

所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，还包括：

对所述数据源的数据结构进行解析；

根据所述数据源的数据结构对所述至少两个搜索库进行同步操作，

在将所述数据源中的数据写入所述搜索库时，根据解析得到的字段的类型进行写入。

2.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

获取预先配置的待更新字段；

确定所述数据源中的所述待更新字段是否有更新，若所述待更新字段有更新，则对所述搜索库中与所述待更新字段对应的字段进行更新。

3.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

定时对所述搜索库中的数据进行全量扫描，若扫描到无效数据，则物理删除所述无效数据,和/或

不将所述数据源的无效数据更新至所述搜索库。

4.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

监控所述数据源与所述至少两个搜索库的有效数据总量是否一致。

5.根据权利要求1所述的数据同步方法，其特征在于，所述数据同步包括增量更新；所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

监控所述增量更新过程中所述数据源与对应的搜索库之间的有效数据的增量是否一致；若不一致，则同步差异数据至对应的搜索库。

6.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

在数据同步过程中，采用数据流式处理将所述数据源的数据更新至对应的搜索库。

7.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

采用预设的增量补偿机制将所述数据源的增量数据更新至对应的搜索库。

8.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

基于所述公共服务组件分别为所述至少两个搜索库建立同步任务；

基于所述同步任务分别同步所述数据源与所述至少两个搜索库之间的数据。

9.一种数据同步装置，其特征在于，包括：

建立模块，用于预先建立用于数据同步服务的公共服务组件；

同步模块，用于基于所述公共服务组件同步数据源与至少两个搜索库之间的数据；

其中，不同的搜索库对应不同的搜索入口，

所述基于所述公共服务组件同步数据源与至少两个搜索库之间的数据，具体包括：

监控所述搜索库中是否存在更新频率大于预设阈值的异常字段；若存在所述异常字段，则调小所述异常字段的更新线程数；

所述同步模块还用于：对所述数据源的数据结构进行解析；

根据所述数据源的数据结构对所述至少两个搜索库进行同步操作，

在将所述数据源中的数据写入所述搜索库时，根据解析得到的字段的类型进行写入。