[发明专利]数据处理方法、装置、存储介质和处理器有效
申请号: | 201710980992.2 | 申请日: | 2017-10-17 |
公开(公告)号: | CN109685217B | 公开(公告)日: | 2021-10-15 |
发明(设计)人: | 李刚毅;赵小光;谭国苹;赵国阳;刘刚;胡亚平;王会臣;刘晓静;王平平;马增纳 | 申请(专利权)人: | 博彦科技股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 赵囡囡 |
地址: | 100193 北京市海淀区西*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 处理器 | ||
1.一种数据处理方法,其特征在于,包括:
确定产生待处理数据,其中,所述待处理数据为日志文件,用于记录计算机的系统操作事件;
根据数据模型对所述待处理数据进行类别区分得到所述待处理数据的类型,其中,所述数据模型是使用训练数据通过机器学习算法训练得到的;
根据所述待处理数据的类型进行关联性预测,其中,所述关联性预测用于预测在产生所述类型的待处理数据之后发生的事件;
其中,根据所述待处理数据的类型进行关联性预测包括:
通过关联性预测模型对产生类型的待处理数据进行关联性预测,其中,关联性预测模是使用关联性训练数据通过机器学习算法训练得到的;
所述方法还包括以下至少之一:
将训练好的用于对所述待处理数据进行类别区分的所述数据模型发布成网络服务;
将训练好的用于对产生所述类型的待处理数据进行关联性预测的所述关联性预测模型发布成网络服务;
其中,在根据数据模型对待处理数据进行类别区分之前,所述方法还包括:
判断所述待处理数据是否包括预定格式的数据;
在判断结果为是的情况下,从所述待处理数据中删除或替换所述预定格式的数据。
2.根据权利要求1所述的方法,其特征在于,在根据所述数据模型对所述待处理数据进行类别区分分类之前,所述方法还包括:
对所述待处理数据进行规范化处理,其中,所述规范化处理包括以下至少之一:数据格式的转换、非标准数据值映射为标准值。
3.根据权利要求1所述的方法,其特征在于,根据所述待处理数据的类型进行关联性预测包括:
利用预设关联性预测算法计算不同类型的所述待处理数据在预定条件下的关联性概率,其中,所述预定条件包括预定时间范围和/或在预定物理范围,所述预定物理范围包括产生所述待处理数据的生成位置;
根据不同类型的所述待处理数据之间的所述关联性概率,合并不同类型的所述待处理数据;和/或
根据不同类型的所述待处理数据之间的所述关联性概率,预测在产生待处理数据的情况下,产生与所述待处理数据相关联的另一种数据的概率。
4.根据权利要求3所述的方法,其特征在于,根据不同类型的所述待处理数据之间的所述关联性概率,合并不同类型的所述待处理数据包括:
判断不同类型的所述待处理数据之间的所述关联性概率是否高于预定阈值;
在所述关联性概率高于预定阈值的情况下,合并所述关联性概率对应的不同类型的所述待处理数据。
5.一种数据处理装置,其特征在于,包括:
确定单元,用于确定产生待处理数据,其中,所述待处理数据为日志文件,用于记录计算机的系统操作事件;
区分单元,用于根据数据模型对所述待处理数据进行类别区分得到所述待处理数据的类型,其中,所述数据模型是使用训练数据通过机器学习算法训练得到的;
预测单元,用于根据所述待处理数据的类型进行关联性预测,其中,所述关联性预测用于预测在产生所述类型的待处理数据之后发生的事件;
其中,所述预测单元还包括:
预测模块,用于通过关联性预测模型对产生所述类型的待处理数据进行关联性预测,其中,所述关联性预测模型是使用关联性训练数据通过机器学习算法训练得到的;
所述装置还包括以下至少之一:
第一发布单元,用于将训练好的用于对所述待处理数据进行类别区分的所述数据模型发布成网络服务;
第二发布单元,用于将训练好的用于对产生所述类型的待处理数据进行关联性预测的所述关联性预测模型发布成网络服务;
其中,所述装置还包括:
判断单元,用于在根据所述数据模型对所述待处理数据进行类别区分之前,判断所述待处理数据是否包括预定格式的数据;
删除单元,用于在判断结果为是的情况下,从所述待处理数据中删除所述预定格式的数据;和/或
替换单元,用于在判断结果为是的情况下,从所述待处理数据中替换所述预定格式的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于博彦科技股份有限公司,未经博彦科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710980992.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种量子计算机
- 下一篇:一种通信段信息管理系统