[发明专利]一种基于网络设备F5的实时数据采集系统及方法

说明书

本发明公开了一种基于网络设备F5的实时数据采集系统及方法，所述方法包括：客户端、服务端、F5设备、数据采集服务集群和Kafka集群，客户端与服务端链接，建立链接成功后，客户端向服务端发送交易数据，客户端与F5设备建立链接，F5设备根据iRules规则，对交易数据进行转发至数据采集服务集群，数据采集服务集群与F5设备建立链接，数据采集服务集群接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中。本发明通过部署的网络设备F5，编写iRules脚本对通过该设备的流量进行转发，并通过数据接收程序对数据进行解析，收集至kafka集群中，实现海量数据的实时采集。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种基于网络设备F5的实时数据采集系统及方法。

背景技术

目前软件系统在实时数据采集的技术实现上，主要有通过接口对接、文件日志及数据库日志等方式，但这些方式都存在一些局限性。接口对接要求每次新增采集数据时，都需要数据生产者配合修改程序，新增对应的数据发送接口；而文件日志或数据库日志采集方式则需要在日志服务器上安装对应的日志采集代理程序进行数据收集，当代理程序的数量较大时，管理难度也相应增大。

发明内容

本发明目的在于，提供一种基于网络设备F5的实时数据采集系统及方法，通过部署的网络设备F5，编写iRules脚本对通过该设备的流量进行转发，并通过数据接收程序对数据进行解析，收集至kafka集群中，实现海量数据的实时采集。

为实现上述目的，本发明实施例提供一种基于网络设备F5的实时数据采集系统，包括：客户端、服务端、F5设备、数据采集服务集群和Kafka集群；

所述客户端与所述服务端链接，建立链接成功后，所述客户端向所述服务端发送交易数据；

所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发至所述数据采集服务集群；

所述数据采集服务集群与所述F5设备建立链接，所述数据采集服务集群接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中。

优选地，所述F5设备，还用于实现所述客户端请求所述服务端时，交易负载均衡。

优选地，所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发；

转发的数据具有特定的报文格式，从所包含的内容进行区分，包括了报文头、交易请求、交易返回和预留字段4个部分所组成；

所述报文头包括交易请求方IP、服务方IP、报文长度、交易耗时、交易码；

所述交易请求及所述交易返回为避免传输过程中的乱码问题，将会直接使用16进制将XML或JSON格式的报文数据加入到主报文中；

所述预留字段，用于后续功能扩展，可适当预留空白字段。

优选地，还包括日志服务集群；

所述日志服务集群用于保留解析报文、数据采集等过程的日志数据，并将日志数据保存到数据库存储中。

优选地，还包括管理服务，用于托管所述数据采集服务集群、所述kafka集群、所述日志服务集群的数据，所述管理服务还用于web前端界面对相关配置进行动态配置和数据查看。

优选地，所述数据采集服务集群接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中，包括：

若解析不成功，则记录日志数据发送至所述日志服务集群；