[发明专利]一种基于AWS的设备端日志采集方法

说明书

一种基于AWS的设备端日志采集方法，使用分布式微服务架构springCloud，接口采用RESTFUL和UDP方式，RESTFUL接口用于前端、UI日志收集，UDP接口适用于c/c++，接口的流程设计包括：客户端日志发送请求，客户端认证，日志处理逻辑，根据请求中的logType信息选择对应的处理器；如果选择的处理器是采用异步模式，将请求参数写到MQ中，处理完成，后续由MQ监听线程处理。如果处理器是非异常，直接进入到写SQS日志流程；MQ监听线程收到MQ的消息后进行下一步日志处理。本发明提供一种高可用、易扩展、方便调用的基于AWS的设备端日志采集方法，用于电视设备等客户端，与业务无强关联，性能优异、反应快。

技术领域

本发明属于网络安全的技术领域，具体涉及一种基于AWS的设备端日志采集方法。

背景技术

网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。

Windows网络操作系统都设计有各种各样的日志文件，如应用程序日志，安全日志、系统日志、Scheduler服务日志、FTP日志、WWW日志、DNS服务器日志等等，这些根据系统开启的服务的不同而有所不同。在系统上进行一些操作时，这些日志文件通常会记录下操作的一些相关内容，这些内容对系统安全工作人员相当有用。比如说有人对系统进行了IPC探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，用FTP探测后，就会在FTP日志中记下IP、时间、探测所用的用户名等。

日志数据对于实现网络安全的价值有多大取决于两个因素：第一，系统和设备必须进行合适的设置以便记录需要的数据。第二，必须有合适的工具、培训和可用的资源来分析收集到的数据。

发明内容

本发明所要解决的技术问题在于提供一种高可用、易扩展、方便调用的基于AWS的设备端日志采集方法，用于电视设备等客户端，与业务无强关联，性能优异、反应快。

本发明是这样实现的：

一种基于AWS的设备端日志采集方法，使用分布式微服务架构springCloud，接口采用RESTFUL和UDP方式，RESTFUL接口用于前端、UI日志收集，UDP接口适用于c/c++，接口的流程设计包括如下步骤:

步骤1：日志发送请求：客户端日志发送请求，请求参数需要采用固定的格式，方便接口处理，参数采用json格式，定义如下：

logType：“SIMPLE”,

busiType：“IPEPG_WHITE_LIST”,

Data：“....”

字段说明：

logType：日志类型，每种日志类型都有对应的log处理器，即可选择不同的处理流程，如直接写入到AWS中的SQS队列，先缓存到RabbitMQ队列中再异步写入到AWS中的SQS队列；

busiType：业务类型，不同的业务类型会有不同的处理；

步骤2：认证:客户端认证，使用zeasn-saas的设备认证接口，确保日志来源的安全性；

步骤3：日志消息处理:日志处理逻辑，具体处理步骤如下：

a)根据消息类型获取处理器：根据请求中的logType信息选择对应的处理器；

b)是否异步：如果选择的处理器是采用异步模式，将请求参数写到MQ中，处理完成，后续由MQ监听线程处理。如果处理器是非异常，直接到d)步骤处理；

c)接收MQ消息：MQ监听线程收到MQ的消息后进行下一步日志处理；