[发明专利]将数据同步到搜索引擎中的方法和装置

权利要求书

1.一种将数据同步到搜索引擎中的方法，其特征在于，包括：

获取数据同步配置信息；所述数据同步配置信息包括：ES索引中的索引字段与数据源地址之间的映射关系；其中，所述ES索引包括至少一个索引类型，每一个索引类型对应至少一个索引字段；

获取全量数据同步脚本；

在预先部署的B-boss工具中运行所述全量数据同步脚本；

所述全量数据同步脚本用于执行如下操作：根据所述数据同步配置信息，从所述数据源地址中提取与索引字段对应的第一字段数据，根据提取的所述第一字段数据，生成与所述至少一个索引类型分别对应的第一数据表；将生成的至少一个第一数据表同步到所述ES索引中。

2.根据权利要求1所述的方法，其特征在于，

所述数据同步配置信息中还包括：索引类型对应的同步优先级；

所述生成与所述至少一个索引类型分别对应的第一数据表，包括：

A1：在未进行同步的索引类型中确定同步优先级最高的第一索引类型；

A2：从所述第一字段数据中获取与所述第一索引类型所对应索引字段的第二字段数据；

A3：根据所述第二字段数据，生成与所述第一索引类型对应的第二数据表，将所述第二数据表确定为所述第一数据表，执行所述将生成的至少一个第一数据表同步到所述ES索引中，并返回A1，直到不存在未同步的索引类型为止。

3.根据权利要求1所述的方法，其特征在于，

所述数据同步配置信息中还包括：索引字段对应的同步优先级；

所述生成与所述至少一个索引类型分别对应的第一数据表，包括：

B1：在未进行同步的索引字段中确定同步优先级最高的第一索引字段；

B2：确定与所述第一索引字段对应的第二索引类型；

B3：从所述第一字段数据中获取与所述第一索引字段对应的第三字段数据；

B4：根据所述第三字段数据，生成与所述第二索引类型对应的第三数据表，将所述第三数据表确定为所述第一数据表，执行所述将生成的至少一个第一数据表同步到所述ES索引中，并返回B1，直到不存在未同步的索引字段为止。

4.根据权利要求1所述的方法，其特征在于，

进一步包括：每一次同步完成后，将当前次同步的同步时间戳更新到所述数据同步配置信息中；所述数据同步配置信息中还包括：用于进行增量数据同步的时间间隔；

进一步包括：在当前时间点距离所述同步时间戳达到所述时间间隔时，获取增量数据同步脚本，并利用预先部署的logstash运行所述增量数据同步脚本，以执行：对所述数据源地址中的字段数据的标识码进行遍历，将满足预设条件的标识码所对应的第四字段数据进行提取，根据提取的所述第四字段数据，对同步到所述ES索引中的所述第一数据表进行更新。

5.根据权利要求4所述的方法，其特征在于，

所述标识码为时间戳；

将遍历到的时间戳位于所述同步时间戳之后的第一时间戳确定为所述满足预设条件的标识码；

所述对同步到所述ES索引中的所述第一数据表进行更新，包括：确定所述第四字段数据对应的第二索引字段，确定所述第二索引字段对应的第三索引类型；根据所述第四字段数据生成与所述第三索引类型对应的第四数据表，将所述第四数据表同步到所述ES索引中；

和/或，

所述标识码为删除标记码；

将遍历到的删除标记码确定为所述满足预设条件的标识码；

所述对同步到所述ES索引中的所述第一数据表进行更新，包括：确定所述第四字段数据对应的第三索引字段，确定所述第三索引字段对应的第四索引类型；在所述ES索引中与所述第四索引类型对应的第一数据表中所包括的所述第三索引字段的数据上添加所述删除标记码。