[发明专利]基于Redis和Logstash的数据采集方法及设备

说明书

本发明提供了一种基于Redis和Logstash的数据采集方法，包括：数据接收服务器接收由外部系统推送的数据；将所述推送的数据通过所述Redis存储到文件系统中；所述Logstash从所述文件系统采集所述数据；所述Logstash将所述数据转换后发送给应用系统。利用Redis的高性能的存储机制，可以加快数据的处理，且通过不同服务的解耦操作，提高了服务的稳定性以及降低了出错的几率。

技术领域

本发明涉及数据采集和存储领域，具体涉及一种基于Redis和Logstash的数据采集方法及设备。

背景技术

在开源数据系统中，常用的有Redis、Memcached等。其中，Redis是一个key-value存储系统，与分布式的快取系统Memcached相比，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与Memcached一样，为了保证效率，数据都是缓存在内存中。但区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。可见，Redis是一个具有更高性能的key-value数据库，很大程度补偿了Memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。

为了提取Redis里存储的数据，如图1和图2所示，一种方法与Logstash结合，Logstash是一个开源的数据收集引擎，它具有备实时数据传输能力，它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。通过将两者结合，构成日志分析系统。如图1所示，在需要收集日志的所有服务上部署Logstash，作为Logstash-agent(也称为：Logstash shipper)用于监控并过滤收集日志，将过滤后的内容发送到Redis完成存储，然后Logstash-indexer，如图1中的Logstash-index1、Logstash-index2将日志收集在一起交给全文搜索服务集群ElasticSearch-Cluster，可以用ElasticSearch-Cluster进行自定义搜索并通过Kibana来结合自定义搜索进行页面展示，图2中展示了Redis与Logstash交互的过程：(1)外部系统将数据推送到系统中，系统将外部系统的数据存储在Redis中，并依据不同的数据以及存储的数据类型，定义统一的前缀key；(2)存储这些数据时，设置这些数据值Redis中的超时时间，该超时时间依据不同的业务场景以及业务需要，可以设置为不同的值；(3)通过修改Redis源码的方式，将这部分的数据分别落地存储到自定义的文件中；(4)Logstash的文件读取插件(Logstash自带插件)监控增量的读取文件中的数据；(5)依据业务不同以及采集到的数据的结构不同，定义不同的数据清洗、封装filter插件(Logstash自带插件)，将数据装换为外部系统中所需要的数据格式；(6)依据业务不同以及外部系统存储介质的不同，定义不同的数据外发插件(Logstash自带插件)，将数据外发存储到不同的外部系统中。

由于Redis为了保证其效率，数据都是缓存在内存中，而内存的存储空间往往是有限制的，这就需要Redis周期性将数据写入到不同的磁盘中，当将Redis应用于数据采集时，由于数据采集需要针对不同的数据存储到不同的磁盘中，需要针对Redis编写大量的复杂控制逻辑，从而增加了Redis的应用复杂度，而较高的应用度通常会导致Redis性能降低和不稳定的现象。所述日志分析系统利用Logstash来实现Redis的数据采集功能，但其只限于对日志数据类型的存储和采集，并且，两者的逻辑耦合复杂，使得其应用具有较大局限性。

发明内容