[发明专利]基于Elasticsearch的数据接入方法、系统、电子设备和存储介质

说明书

本发明公开了一种基于Elasticsearch的数据接入方法、系统、电子设备和存储介质，该方法包括：获取数据接入指令，根据数据接入指令确定目标数据源，目标数据源包括结构化数据库、和/或结构化文件、和/或半结构化文件；从预设读取配置数据中确定与目标数据源对应的目标配置数据，并基于目标配置数据从目标数据源中读取待接入数据；按照预设时间数据格式和预设空间数据格式将待接入数据转换为统一格式数据；若统一格式数据中存在文本文件，按预设抽取规则从文本文件中抽取正文文本；基于正文文本确定待提交数据，将待提交数据写入Elasticsearch，从而实现高效的将不同类型的数据接入Elasticsearch。

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种基于Elasticsearch的数据接入方法、系统、电子设备和存储介质。

背景技术

随着互联网信息的增长，个人和组织的文件日益增多，数据的存储方式多种多样，数据规模越来越大，数据结构越来越松散和开放。关系型数据库已经不能满足现在的数据规模、数据结构和查询方式。文件数据只能保存数据，不能快速的查找和定位数据。

Elasticsearch是分布式搜索和分析引擎，具有分布式、高扩展、高实时等特点。Elasticsearch提供近乎实时的搜索和分析，它能适应结构化和半结构化文本、数字数据和地理空间数据等。有很多的人和组织都在使用Elasticsearch，但是他们都是基于自己的系统接入Elasticsearch，因此需要高度定制化，另外支持的场景和数据结构也比较单一，接入效率低。

因此，如何高效的将不同类型的数据接入Elasticsearch，是目前有待解决的技术问题。

发明内容

本申请实施例提供一种基于Elasticsearch的数据接入方法、系统、电子设备和存储介质，用以高效的将不同类型的数据接入Elasticsearch。

第一方面，提供一种基于Elasticsearch的数据接入方法，所述方法包括：获取数据接入指令，根据所述数据接入指令确定目标数据源，所述目标数据源包括结构化数据库、和/或结构化文件、和/或半结构化文件；从预设读取配置数据中确定与所述目标数据源对应的目标配置数据，并基于所述目标配置数据从所述目标数据源中读取待接入数据；按照预设时间数据格式和预设空间数据格式将所述待接入数据转换为统一格式数据；若所述统一格式数据中存在文本文件，按预设抽取规则从所述文本文件中抽取正文文本；基于所述正文文本确定待提交数据，将所述待提交数据写入Elasticsearch。

第二方面，提供一种基于Elasticsearch的数据接入系统，所述系统包括：确定模块，用于获取数据接入指令，根据所述数据接入指令确定目标数据源，所述目标数据源包括结构化数据库、和/或结构化文件、和/或半结构化文件；读取模块，用于从预设读取配置数据中确定与所述目标数据源对应的目标配置数据，并基于所述目标配置数据从所述目标数据源中读取待接入数据；转换模块，用于按照预设时间数据格式和预设空间数据格式将所述待接入数据转换为统一格式数据；抽取模块，用于若所述统一格式数据中存在文本文件，按预设抽取规则从所述文本文件中抽取正文文本；写入模块，用于基于所述正文文本确定待提交数据，将所述待提交数据写入Elasticsearch。

第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的基于Elasticsearch的数据接入方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于Elasticsearch的数据接入方法。