[发明专利]数据处理方法及装置

权利要求书

1.一种基于客户端的数据处理方法，其特征在于，包括：

采用数据采集工具采集以文本方式保存的日志log信息，对于一些特殊格式的log信息，采用专用格式的文本转换工具，将特殊格式的log信息进行转化之后，得到所述客户端中与测试目标相关的异常日志信息；

使用正则表达式进行特征值提取，获取所述异常日志信息的特征值信息，其中，预先在客户端中输入一系列已知的正则表达式，当发现新的正则表达式的时候，通过服务器端的外部规则发送模块将新的表达式推送到客户端的外部规则接收模块，进而更新客户端存储的正则表达式；

利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，所述决策规则由客户端存储的内部规则，以及从与客户端连接的服务器端获取的外部规则共同组成，将生成的特征值信息经过特征值分类器分为固定的种类，该分类器基于贝叶斯分类算法构建，输入条件是各特征值、特征值出现的频率以及特征值之间的相互关系，输出为异常分类信息，异常分类信息包括：新异常、旧异常、未确定异常及其分别关联的特征值，其中旧异常分类中进一步分为不可干预异常和可干预异常；

预设异常分类信息映射表，存储异常分类信息及异常分类信息的上报情况，对于新发现的异常分类信息中的信息，则在该表中查找对应的异常归属是否为已经上报过的旧异常，如在该表中没有该异常归属，则在该表中加入该异常分类信息，同时将符合预设上报条件的异常分类信息向目标服务器进行发送。

2.根据权利要求1所述的数据处理方法，其特征在于，在所述利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息之后，所述方法还包括：

对所述异常分类信息进行分析，以确定所述异常分类信息所关联的异常行为是否为可干预异常行为；以及

对于所述可干预异常行为关联的程序模块，执行暂时无效化操作。

3.根据权利要求1所述的数据处理方法，其特征在于，所述利用一个或多个决策规则，对所述特征值信息进行数据决策处理，得到包含不同异常类型的异常分类信息，包括：

构建特征值分类器；

利用所述特征值分类器，根据所述特征值信息中包含的特征值、特征值出现的频率以及特征值之间的相互关系，对所述特征值信息进行分类处理；以及

基于所述分类处理的结果确定所述异常分类信息的异常类型。

4.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：

接收所述目标服务器推送的更新特征值及更新分类模型参数；

基于所述更新特征值及所述更新分类模型参数，更新所述特征值分类器；以及

利用更新后的特征值分类器对所述特征值信息进行数据决策处理。

5.根据权利要求3或4所述的数据处理方法，其特征在于，所述方法还包括：

构建存储有多种异常分类信息的异常分类信息映射表；

基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为新增的异常分类信息；以及

将确定为新增的异常分类信息更新至所述异常分类信息映射表。

6.根据权利要求5所述的数据处理方法，其特征在于，所述将符合预设上报条件的异常分类信息向目标服务器进行发送，包括：

将所述新增的异常分类信息向目标服务器进行发送。

7.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：

将异常类型待定的所述特征值信息关联的异常日志信息向目标服务器进行发送。

8.根据权利要求6所述的数据处理方法，其特征在于，所述方法还包括：

基于所述异常分类信息映射表，判断所述特征值分类器确定的所述异常分类信息是否为已经上报过的异常分类信息；以及

将所述已经上报过的异常分类信息对应的异常日志信息在所述客户端内保存预设时间。