[发明专利]一种数据获取方法及设备

说明书

本发明提供一种数据获取方法及设备，所述方法包括：将所设置的数据查询条件和对ElasticSearch返回的数据进行解析的规则提供给预定义的数据获取组件；调用所述数据获取组件向搜索引擎ElasticSearch发起滚屏查询请求，获取经过解析的搜索引擎ElasticSearch对所述滚屏查询请求的返回结果。本发明提出的一种数据获取方法及设备，通过调用自定义的数据获取组件向搜索引擎ElasticSearch获取大批量数据，使得数据获取较直接使用ElasticSearch的ScrollAPI更加地可靠、有序、实时和不重复。

技术领域

本发明涉及软件工程领域，更具体地，涉及一种数据获取方法及设备。

背景技术

ElasticSearch是一个优秀的开源分布式搜索引擎，除了用于搜索，ElasticSearch也是日志存储、离线数据分析挖掘的利器。应用ElasticSearch可以实时收集线上应用在运行过程中输出到磁盘上的日志，并将实时收集到的日志存储到ElasticSearch集群中。

对于存储在ElasticSearch集群中的日志，有以下两种应用场景：一方面根据所开发的日志中心平台，在该平台上开发人员通过设置检索条件查询线上应用输出的各种日志，从而帮助开发人员了解线上应用的运行情况和快速定位线上应用的问题。另一方面Storm集群会实时批量地从ElasticSearch集群中拉取日志做复杂的聚合计算，如分布式调用链计算等。以上两种场景均要求快速、连续、实时地从ElasticSearch集群中获取大量数据。ElasticSearch提供了ScrollAPI(滚动搜索)用于使ElasticSearch快速、有效地执行大批量的数据查询。

但ScrollAPI(滚动搜索)适合处理大量的数据，不适合实时用户请求，且每当应用程序重新发起一个新的Scroll API调用时，ElasticSearch会从头开始返回数据，造成客户端接收重复的数据。直接使用ElasticSearch提供的ScrollAPI会给应用程序带来了以下问题：无法确保在应用程序端可靠、按序、实时以及不重复地获取大批量的数据。

发明内容

为了克服直接使用ElasticSearch提供的ScrollAPI带来的无法可靠、按序、实时及不重复地获取大批量数据的问题，本发明提供一种数据获取方法及设备。

根据本发明的一个方面，提供一种数据获取方法，包括：

S1，将所设置的数据查询条件和对ElasticSearch返回的数据进行解析的规则提供给预定义的数据获取组件；

S2，调用所述数据获取组件向搜索引擎ElasticSearch发起滚屏查询请求，获取经过解析的搜索引擎ElasticSearch对所述滚屏查询请求的返回结果。

其中，在步骤S1之前还包括：

S0，实现基于ElasticSearch ScrollAPI的数据获取组件。

其中，所述数据获取组件具体包括：准备查询接口类和滚屏查询组件类；

所述准备查询接口类包括prepare方法和parseResult方法，所述prepare方法用于向数据获取组件提供开发人员设置的查询条件，所述parseResult方法用于向数据获取组件提供开发人员设置的对从搜索引擎ElasticSearch中获取到的数据的解析规则；

所述滚屏查询组件类包括doScrollSearch方法，所述doScrollSearch方法用于以ElasticSearch ScrollAPI的方式获取搜索引擎ElasticSearch中的数据，所述doScrollSearch方法的入参为所述准备查询接口类的实例。

其中，步骤S1进一步包括：