[发明专利]一种基于嵌入式linux的松耦合、高扩展性无埋点数据采集方法

说明书

一种基于嵌入式linux的松耦合、高扩展性无埋点数据采集方法，具有采集数据更加全面，无需埋点方便快捷，降低适配开发成本、高可用性等优点。比起常规的嵌入式linux信息上报，对日志进行规范化，标准化，支持全量数据采集、数据采集后的归档保存，各字段支持索引，与普通的无埋点数据采集方式相比，支持数据采集的动态可适配，既能保证采集数据的全面性，又能降低终端负载。

技术领域

本发明涉及数据采集技术领域，具体涉及一种基于嵌入式linux的松耦合、高扩展性无埋点数据采集方法。

背景技术

随着嵌入式Linux系统的发展，嵌入式设备的种类越来越复杂，越来越多的设备采集数据。大量设备需要联网和数据传输，以及与不同实现环境对应的不同功能需求。庞大的基础功能系统和大量设备实例冗余数据字段的存储和传输，不仅给网络和云系统带来巨大压力，也增加了系统开发的工作量和维护成本。

发明内容

本发明为了克服以上技术的不足，提供了一种通用的，松耦合的无埋点数据采集方式，支持全量数据采集，将不同种类的设备数据统一上传存储进行大数据分析处理的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于嵌入式linux的松耦合、高扩展性无埋点数据采集方法，包括如下步骤：

a)设置嵌入式linux移植日志库，各个linux程序将日志传输到消息队列，嵌入式linux移植日志库中线程从消息队列中读取日志并写入磁盘；

b)置日志采集模块，所述日志采集模块由若干嵌入式终端构成，每个嵌入式终端由linux移植日志库及日志处理引擎构成，日志处理引擎读取linux移植日志库中日志，生成对应的JSON结构化数据；

c)设置数据存储模块，所述数据存储模块分为mysql数据库和kafka缓存，将mysal型的JSON结构化数据存储到mysql数据库中，将kafka型的JSON结构化数据存储到kafka缓存中；

d)设置数据聚合索引模块，所述数据聚合索引模块对数据存储模块中的JSON结构化数据按照每个字段进行索引；

e)设置数据可视化模块，所述数据可视化模块将索引后的数据进行展示。

进一步的，步骤a)中嵌入式linux移植日志库采用生产者消费模式，消息队列先缓存到内存后再启用另一个线程从队列中读取日志并写到磁盘上。

进一步的，步骤b)中日志处理引擎使用字符串对日志进行初步筛选生成原始日志文件，flent bit读取原始日志文件，根据服务器下发的正则表达式，对原始日志进行过滤，生成对应的JSON结构化数据。

进一步的，步骤b)中JSON结构化数据包含终端ID、业务名称、事件名称、发生时间和自定义信息。

进一步的，步骤b)中将JSON结构化数据通过APK上传到头端服务器。

进一步的，步骤d)中数据聚合索引模块由logstash及Elasticsearch构成，logstash接收Kafka型的JSON结构化数据以及mysql型的JSON结构化数据后转给Elasticsearch，Elasticsearch对Kafka型的JSON结构化数据和mysql型的JSON结构化数据进行索引、聚合，使对应的数据按照每个字段进行索引。

进一步的，步骤e)中数据聚合索引模块由klbana构成。

本发明的有益效果是：相较于普通数据采集有着，采集数据更加全面，无需埋点方便快捷，降低适配开发成本、高可用性等优点。比起常规的嵌入式linux信息上报，对日志进行规范化，标准化，支持全量数据采集、数据采集后的归档保存，各字段支持索引，与普通的无埋点数据采集方式相比，支持数据采集的动态可适配 ，既能保证采集数据的全面性，又能降低终端负载。

附图说明

图1为本发明的无埋点数据采集流程图；