[发明专利]将数据同步到搜索引擎中的方法和装置

说明书

本发明提供的将数据同步到搜索引擎中的方法和装置，方法包括：获取数据同步配置信息；数据同步配置信息包括：ES索引中的索引字段与数据源地址之间的映射关系；ES索引包括至少一个索引类型，每一个索引类型对应至少一个索引字段；获取全量数据同步脚本；在B‑boss工具中运行全量数据同步脚本；全量数据同步脚本用于执行如下操作：根据数据同步配置信息，从数据源地址中提取与索引字段对应的第一字段数据，根据提取的第一字段数据，生成与至少一个索引类型分别对应的第一数据表；将生成的至少一个第一数据表同步到ES索引中。本发明，通过将数据同步到ES索引中，使得ES检索时直接从ES索引中进行检索，无需到数据库中检索，从而可以提高检索效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及将数据同步到搜索引擎中的方法和装置。

背景技术

随着信息技术的飞速发展，数据量也在逐年增长。在存储有大数据量的数据库中搜索目标数据时，需要借助具有强大搜索分析能力的搜索引擎工具来实现。由于数据是存储在关系型数据库中的，而关系型数据库在处理海量数据的检索时，检索效率较低。

发明内容

本发明实施例提供了将数据同步到搜索引擎中的方法和装置，以提高检索效率。

第一方面，本发明实施例提供了一种将数据同步到搜索引擎中的方法，包括：

获取数据同步配置信息；所述数据同步配置信息包括：ES索引中的索引字段与数据源地址之间的映射关系；其中，所述ES索引包括至少一个索引类型，每一个索引类型对应至少一个索引字段；

获取全量数据同步脚本；

在预先部署的B-boss工具中运行所述全量数据同步脚本；

所述全量数据同步脚本用于执行如下操作：根据所述数据同步配置信息，从所述数据源地址中提取与索引字段对应的第一字段数据，根据提取的所述第一字段数据，生成与所述至少一个索引类型分别对应的第一数据表；将生成的至少一个第一数据表同步到所述ES索引中。

优选地，所述数据同步配置信息中还包括：索引类型对应的同步优先级；

所述生成与所述至少一个索引类型分别对应的第一数据表，包括：

A1：在未进行同步的索引类型中确定同步优先级最高的第一索引类型；

A2：从所述第一字段数据中获取与所述第一索引类型所对应索引字段的第二字段数据；

A3：根据所述第二字段数据，生成与所述第一索引类型对应的第二数据表，将所述第二数据表确定为所述第一数据表，执行所述将生成的至少一个第一数据表同步到所述ES索引中，并返回A1，直到不存在未同步的索引类型为止。

优选地，所述数据同步配置信息中还包括：索引字段对应的同步优先级；

所述生成与所述至少一个索引类型分别对应的第一数据表，包括：

B1：在未进行同步的索引字段中确定同步优先级最高的第一索引字段；

B2：确定与所述第一索引字段对应的第二索引类型；

B3：从所述第一字段数据中获取与所述第一索引字段对应的第三字段数据；

B4：根据所述第三字段数据，生成与所述第二索引类型对应的第三数据表，将所述第三数据表确定为所述第一数据表，执行所述将生成的至少一个第一数据表同步到所述ES索引中，并返回B1，直到不存在未同步的索引字段为止。

优选地，进一步包括：每一次同步完成后，将当前次同步的同步时间戳更新到所述数据同步配置信息中；所述数据同步配置信息中还包括：用于进行增量数据同步的时间间隔；