[发明专利]基于Elasticsearch的数据接入方法、系统、电子设备和存储介质

权利要求书

1.一种基于Elasticsearch的数据接入方法，其特征在于，所述方法包括：

获取数据接入指令，根据所述数据接入指令确定目标数据源，所述目标数据源包括结构化数据库、和/或结构化文件、和/或半结构化文件；

从预设读取配置数据中确定与所述目标数据源对应的目标配置数据，并基于所述目标配置数据从所述目标数据源中读取待接入数据；

按照预设时间数据格式和预设空间数据格式将所述待接入数据转换为统一格式数据；

若所述统一格式数据中存在文本文件，按预设抽取规则从所述文本文件中抽取正文文本；

基于所述正文文本确定待提交数据，将所述待提交数据写入Elasticsearch；

基于所述目标配置数据从所述目标数据源中读取待接入数据，具体为：

若所述目标数据源为所述结构化数据库，基于所述目标配置数据连接所述结构化数据库并确定读取表和/或触发器，基于所述读取表从所述结构化数据库中读取需要单次读取的第一数据，和/或基于所述触发器从所述结构化数据库中读取需要循环读取的第二数据；

若所述目标数据源为所述结构化文件，基于所述目标配置数据确定目标索引，根据所述目标索引从所述结构化文件中读取需要单次读取的第三数据和/或需要循环读取的第四数据；

若所述目标数据源为所述半结构化文件，基于所述目标配置数据确定目标路径，根据所述目标路径从所述半结构化文件中读取需要单次读取的第五数据和/或需要循环读取的第六数据；

根据所述第一数据、和/或所述第二数据、和/或所述第三数据、和/或所述第四数据、和/或所述第五数据、和/或所述第六数据确定所述待接入数据；

在将所述待提交数据写入Elasticsearch之后，所述方法还包括：

确定与所述待提交数据对应的本次写入数据；

若所述本次写入数据中存在第一待处理数据，根据所述目标配置数据确定所述第一待处理数据的第一主键，从所述Elasticsearch中刷新与所述第一主键对应的数据，所述第一待处理数据是在循环读取所述结构化数据库过程中产生的；

若所述本次写入数据中存在第二待处理数据，根据所述目标配置数据确定所述第二待处理数据的目标保存路径，从所述Elasticsearch中刷新与所述目标保存路径对应的数据，所述第二待处理数据是在循环读取所述结构化文件或半结构化文件过程中产生的。

2.如权利要求1所述的方法，其特征在于，在从预设读取配置数据中确定与所述目标数据源对应的目标配置数据之前，所述方法还包括：

根据第一指令对所述结构化数据库的数据的预设基础信息、抽取文件路径、用于进行单次读取的读取表、用于进行循环读取的触发器、字段的类型、与需要全文检索的字段对应的分词器进行配置，得到第一目标配置数据；

根据第二指令对所述结构化文件的数据的预设基础信息、抽取文件路径、数据读取索引、是否包含表头、数据之间的分隔符、字段的位置、字段的类型、与需要全文检索的字段对应的分词器、与循环读取对应的保存目录进行配置，得到第二目标配置数据；

根据第三指令对所述半结构化文件的数据的预设基础信息、抽取文件路径、数据读取路径、字段的类型、与需要全文检索的字段对应的分词器、与循环读取对应的保存路径进行配置，得到第三目标配置数据；

根据所述第一目标配置数据、所述第二目标配置数据和所述第三目标配置数据生成所述预设读取配置数据。

3.如权利要求1所述的方法，其特征在于，按预设抽取规则从所述文本文件中抽取正文文本，具体为：

若所述文本文件属于预设简单文件，根据所述文本文件的文件头或对所述文本文件进行遍历的结果确定目标字符集，根据所述目标字符集抽取所述正文文本；

若所述文本文件属于预设复杂文件，基于预设进程抽取所述正文文本，并将所述正文文本保存磁盘中。

4.如权利要求1所述的方法，其特征在于，在按预设抽取规则从所述文本文件中抽取正文文本之后，所述方法还包括：

若所述正文文本中存在属于office类型的第一目标文件，按第一预设转换参数将所述第一目标文件转换为第二目标文件；

若所述正文文本中存在属于音视频类型的第三目标文件，按第二预设转换参数将所述第三目标文件转换为第四目标文件。