[发明专利]一种基于网络设备F5的实时数据采集系统及方法

权利要求书

1.一种基于网络设备F5的实时数据采集系统，其特征在于，包括：客户端、服务端、F5设备、数据采集服务集群和kafka集群；

所述客户端与所述服务端链接，建立链接成功后，所述客户端向所述服务端发送交易数据；

所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发至所述数据采集服务集群；

所述数据采集服务集群与所述F5设备建立链接，所述数据采集服务集群用于接收所述F5设备转发的所述交易数据，动态加载配置数据，对数据报文格式进行解析，发送至所述kafka集群中；若解析不成功，则记录日志数据发送至日志服务集群；若解析成功则继续进行操作，根据配置项将数据采集至所述kafka集群中，若采集成功则发送日志至所述日志服务集群并中止，否则进行重试，到达配置的最大重试次数后记录日志并中止。

2.根据权利要求1所述的一种基于网络设备F5的实时数据采集系统，其特征在于，所述F5设备，还用于实现所述客户端请求所述服务端时，交易负载均衡。

3.根据权利要求1所述的一种基于网络设备F5的实时数据采集系统，其特征在于，所述客户端与所述F5设备建立链接，所述F5设备根据iRules规则，对所述交易数据进行转发；

转发的数据具有特定的报文格式，从所包含的内容进行区分，由报文头、交易请求、交易返回和预留字段4个部分所组成；

所述报文头包括交易请求方IP、服务方IP、报文长度、交易耗时、交易码；

所述交易请求及所述交易返回直接使用16进制将XML或JSON格式的报文数据加入到主报文中，用于避免传输过程中的乱码问题；

所述预留字段，用于后续功能扩展和预留空白字段。

4.根据权利要求3所述的一种基于网络设备F5的实时数据采集系统，其特征在于，还包括日志服务集群；

所述日志服务集群用于保留解析报文、数据采集过程的日志数据，并将日志数据保存到数据库存储中。

5.根据权利要求4所述的一种基于网络设备F5的实时数据采集系统，其特征在于，还包括管理服务，用于托管所述数据采集服务集群、所述kafka集群、所述日志服务集群的数据，所述管理服务还用于web前端界面对相关配置进行动态配置和数据查看。

6.根据权利要求5所述的一种基于网络设备F5的实时数据采集系统，其特征在于，所述数据采集服务集群采用特定报文格式对报文进行首次解析，并根据所述管理服务中的配置对交易请求或交易返回进行二次解析，并将解析结果重新组装，生成目标报文，其中，所述配置包括交易配置、报文配置和采集配置；

所述生成目标报文后，通过所述kafka集群将所述目标报文存放至所述kafka集群的消息管道中完成采集过程。

7.一种基于网络设备F5的实时数据采集方法，其特征在于，包括：

根据客户端发送给服务端的交易数据，通过F5设备根据iRules规则，对数据进行转发；

数据采集服务集群接收所述F5设备转发的所述交易数据后，动态加载配置数据，对数据报文格式进行解析；

根据解析数据，将所述解析数据采集至kafka集群中；若解析不成功，则记录日志数据发送至日志服务集群；若解析成功则继续进行操作，根据配置项将数据采集至所述kafka集群中，若采集成功则发送日志至所述日志服务集群并中止，否则进行重试，到达配置的最大重试次数后记录日志并中止。