[发明专利]一种处理数据的方法以及装置

说明书

技术领域

本发明实施例涉及数据处理的技术领域，尤其涉及一种处理数据的方法以及装置。

背景技术

在大数据产品运维日常工作中，经常会出现数据异常的情况，在分析这些异常原因时，发现数据会在很多环节出错，比如YCL、kafka、storm、solr、Hadoop等。而定位这些原因往往会花费开发人员很大的精力，有时甚至会出现查找一个原因团队所有人都出动的情况。通过逐项排查各节点查找数据异常的方法越来越困难，效率也很低。

发明内容

本发明实施例的目的在于提出一种处理数据的方法以及装置，旨在解决需要开发出一套高效、可靠、具有整合性的运维产品。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种处理数据的方法，所述方法包括：

客户端接收服务器发送的日志命令；

所述客户端判断所述日志命令是否是前一天日志的命令；

若所述日志命令是前一天日志的命令，则创建处理所述前一天日志的线程；

所述客户端判断所述配置信息是否已读取；

若所述配置信息已读取，则所述客户端根据接收到的日志类型分别解析，并将解析后的信息插入数据库。

可选地，所述方法还包括：

若所述配置信息未读取，则所述客户端根据已读取的配置信息和保存到所述服务器中的日志类型选择对应IP信息并设置通信协议；

所述客户端创建所述服务器的套接字、接收并保存所述服务器返回的日志；

若所述客户端接收所述日志失败，则将所述IP信息保存到所述服务器中，设置重传标志。

可选地，所述方法还包括：

若所述日志命令不是前一天日志的命令，则所述客户端判断是否创建实时日志线程；

若所述客户端确定创建实时日志线程，则所述客户端判断配置信息是否已读完；

若所述配置信息已读完，则所述客户端根据日志类型分别进行解析，将解析完的信息插入数据库。

可选地，所述方法还包括：

若所述配置信息未读完，则所述客户端根据已读取并保存到所述服务器中的日志类型选择对应IP设置通信协议头；

所述客户端创建链接所述服务器的套接字、接收并保存所述服务器返回的日志。

可选地，所述方法还包括：

若所述客户端判断未创建实时日志线程，则所述客户端创建处理重传前一天日志线程；

所述客户端判断配置信息是否已读完；

若所述客户端判断所述配置信息已读完，则所述客户端根据接收到的日志类型分别进行解析，将解析完的信息插入数据库，将重传标志清空。

可选地，所述方法还包括：

若所述客户端判断所述配置信息未读完，则所述客户端根据已读取并保存到所述服务器中的日志类型选择对应IP设置通信协议头；

所述客户端创建链接所述服务器的套接字、接收并保存所述服务器返回的日志。

第二方面，一种处理数据的装置，所述装置包括：

接收模块，用于接收服务器发送的日志命令；

第一判断模块，用于判断所述日志命令是否是前一天日志的命令；

创建模块，用于若所述日志命令是前一天日志的命令，则创建处理所述前一天日志的线程；

第二判断模块，用于判断所述配置信息是否已读取；

解析模块，用于若所述配置信息已读取，则根据接收到的日志类型分别解析，并将解析后的信息插入数据库。

可选地，所述装置还包括：

第一处理模块，用于若所述配置信息未读取，则根据已读取的配置信息和保存到所述服务器中的日志类型选择对应IP信息并设置通信协议；创建所述服务器的套接字、接收并保存所述服务器返回的日志；若所述客户端接收所述日志失败，则将所述IP信息保存到所述服务器中，设置重传标志。

可选地，所述装置还包括：

第二处理模块，用于若所述日志命令不是前一天日志的命令，则判断是否创建实时日志线程；若所述客户端确定创建实时日志线程，则判断配置信息是否已读完；若所述配置信息已读完，则根据日志类型分别进行解析，将解析完的信息插入数据库；若所述配置信息未读完，则根据已读取并保存到所述服务器中的日志类型选择对应IP设置通信协议头创建链接所述服务器的套接字、接收并保存所述服务器返回的日志。

可选地，所述装置还包括：