[发明专利]一种日志数据的处理方法和装置有效
申请号: | 202110507995.0 | 申请日: | 2021-05-11 |
公开(公告)号: | CN112988670B | 公开(公告)日: | 2021-08-24 |
发明(设计)人: | 夏文昊;姜海昆;范宇 | 申请(专利权)人: | 长扬科技(北京)有限公司 |
主分类号: | G06F16/14 | 分类号: | G06F16/14;G06F16/18;G06F11/34 |
代理公司: | 北京格允知识产权代理有限公司 11609 | 代理人: | 周娇娇 |
地址: | 100195 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 日志 数据 处理 方法 装置 | ||
1.一种日志数据的处理方法,其特征在于,包括:
接收终端设备发来的日志数据;其中,所述日志数据携带有该终端设备的IP地址;
确定所述日志数据携带的IP地址是否为目标IP地址,如果是,则将该日志数据确定为合法日志数据;
根据所述合法日志数据携带的IP地址,确定与所述合法日志数据对应的至少一个日志模板;
利用确定出的至少一个日志模板对所述合法日志数据进行匹配解析;
所述利用确定出的至少一个日志模板对所述合法日志数据进行匹配解析,包括:
对确定出的至少一个日志模板进行降序排列;
将经降序排列后的至少一个日志模板按照由高至低的顺序依次对所述合法日志数据进行匹配解析;
其中,所述对确定出的至少一个日志模板进行降序排列,包括:
针对每一个日志模板,计算该日志模板在开始对所述合法日志数据进行匹配解析后的预设时长内的数据解析量;
根据每一个日志模板对应的数据解析量,对确定出的至少一个日志模板进行降序排列;其中,高顺序的日志模板对应的数据解析量大于低顺序的日志模板对应的数据解析量;
在所述利用确定出的至少一个日志模板对所述合法日志数据进行匹配解析之后,进一步包括:
根据匹配解析成功后的结果,确定待检测用户的待检测数据和历史数据;其中,所述待检测用户的待检测数据和历史数据均包括用户行为数据,所述历史数据为在所述待检测数据产生的时间点之前的预设时长的数据;
根据所述待检测用户的待检测数据和历史数据包括的用户行为数据,判断所述待检测用户的行为类型是否发生变化;
如果所述待检测用户的行为类型发生变化,则将所述待检测用户确定为异常用户;
所述根据所述待检测用户的待检测数据和历史数据包括的用户行为数据,判断所述待检测用户的行为类型是否发生变化,包括:
按照预设的时间间隔对待检测用户的历史数据包括的用户行为数据进行划分,得到多个短序列;
对得到的多个短序列进行聚类处理并按照时间顺序排列,得到用户行为序列;
将得到的用户行为序列作为输入,输入到预先构建好的行为预测模型中,输出预测行为类型和该预测行为类型的概率;
对待检测用户的待检测数据包括的用户行为数据进行分析,确定待检测用户的待检测数据对应的实际行为类型和该实际行为类型的概率;
根据预测行为类型的概率和实际行为类型的概率之差与预设的概率差值,判断待检测用户的行为类型是否发生变化;
所述行为预测模型是通过如下方式进行构建的:
获取多个用户的第一用户数据;其中,每一个用户的第一用户数据包括该用户的位于第一时间段内的用户行为数据;
针对每一个用户,均执行如下操作:按照预设的时间间隔对该用户的第一用户数据包括的用户行为数据进行划分,得到多个短序列;对得到的多个短序列进行聚类处理并按照时间顺序排列,得到用户行为序列;对得到的用户行为序列中的每一类别的短序列进行行为类型映射,得到用户业务行为序列;
将各用户的用户业务行为序列作为输入,输入到基于粒子群算法的GRU模型中进行训练,以构建出行为预测模型;
所述预设的概率差值是通过如下方式确定的:
获取所述多个用户的第二用户数据;其中,每一个用户的第二用户数据包括该用户的位于第二时间段内的用户行为数据,所述第二时间段与所述第一时间段相邻且位于所述第一时间段之后;
针对每一个用户,均执行如下操作:对该用户的第二用户数据进行分析,确定该用户的第二用户数据对应的实际行为类型和该实际行为类型的概率;
将由各用户的第一用户数据得到的用户行为序列作为输入,输入到构建好的行为预测模型中,输出预测行为类型和该预测行为类型的概率;
将各用户的第二用户数据对应的实际行为类型的概率和各用户的第一用户数据对应的预测行为类型的概率的差值的绝对值之和的平均值作为预设的概率差值。
2.根据权利要求1所述的方法,其特征在于,所述目标IP地址是通过如下步骤确定的:
获取已经注册的终端设备的唯一标识信息;其中,所述唯一标识信息包括IP地址;
根据所述唯一标识信息包括的IP地址,确定与该唯一标识信息对应的终端设备是否受信任;
如果受信任,则将该终端设备的IP地址确定为目标IP地址。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于长扬科技(北京)有限公司,未经长扬科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110507995.0/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置