[发明专利]一种可视化的ElasticSearch数据采集方法及装置

说明书

本发明公开了一种可视化的ElasticSearch数据采集方法及装置，包括：创建可视化组件，可视化组件包括输入插件、输出插件和调度插件；通过将输入插件、输出插件和调度插件关联，创建任务；分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；配置任务的运行节点和任务策略；加载任务策略，获取目标运行节点的节点信息；依据目标运行节点的节点信息将任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集；通过本发明简化了配置过程，可同时多任务多节点并发采集，有效提高了数据采集的效率，降低了使用成本。

技术领域

本发明涉及数据采集技术领域，尤其是涉及一种可视化的ElasticSearch数据采集方法及装置。

背景技术

ElasticSearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

使用ElasticSearch的高效搜索有一个前提条件，需要先将数据采集到ElasticSearch中。目前采集数据通常使用第三方插件完成，需要使用命令行或复杂的配置，学习成本和使用门槛较高，且只能单任务执行，采集速度慢，效率低下。

发明内容

为了解决上述问题，本发明提出了一种可视化的ElasticSearch数据采集方法及装置，通过通过图形化操作的方式，定义结构化数据的输入输出和创建调度任务，实现了基于ElasticSearch的数据采集，简化了采集过程，提高了采集速率。

为了实现上述目的，本发明采用如下技术方案：

具体的，一种可视化的ElasticSearch数据采集方法，应用于与节点服务器通信连接的用户终端，所述方法包括：

创建可视化组件，所述可视化组件包括输入插件、输出插件和调度插件；

通过将所述输入插件、输出插件和调度插件关联，创建任务；

分别对所述输入插件、输出插件和调度插件进行参数配置，得到输入插件配置文件、输出插件配置文件和调度插件配置文件；

配置所述任务的运行节点和任务策略；

加载所述任务策略，获取目标运行节点的节点信息；

依据所述目标运行节点的节点信息将所述任务发送给目标运行节点以便目标运行节点获取并解析所述输入插件配置文件、输出插件配置文件和调度插件配置文件，执行数据采集。

进一步的，所述输入插件配置文件包括数据源信息及查询脚本，所述数据源信息包括数据源数据库的IP及端口信息。

进一步的，所述输出插件配置文件包括数据目标信息，所述数据目标为ElasticSearch服务器，所述数据目标信息包括Elasticsearch服务器的IP、端口、索引名称及类型名称。

进一步的，所述调度插件配置文件包括调度类型、调度时间及关联输入输出。

进一步的，配置所述任务的运行节点包括配置运行节点服务器的名称、IP、端口信息。

进一步的，配置所述任务的任务策略包括配置执行方式、目标运行节点服务器、任务日志级别和调度任务，所述调度任务为将所述任务关联至所述目标运行节点服务器。

进一步的，所述输入插件配置文件和输出插件配置文件均保存为ktr文件，所述调度插件配置文件为kjb文件。