[发明专利]一种数据的处理方法、装置及电子设备有效

专利信息
申请号: 201911073013.0 申请日: 2019-11-05
公开(公告)号: CN110955709B 公开(公告)日: 2023-03-24
发明(设计)人: 汤俊良;刘晓舟;林海东 申请(专利权)人: 北京字节跳动网络技术有限公司
主分类号: G06F16/25 分类号: G06F16/25;G06F16/18
代理公司: 北京风雅颂专利代理有限公司 11403 代理人: 李弘
地址: 100041 北京市石景山区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 处理 方法 装置 电子设备
【权利要求书】:

1.一种数据的处理方法,其特征在于,包括:

获取多源异构数据,包括:获取系统中的日志数据、时序监控数据和结构化监控数据,所述时序监控数据包括性能对象对应的时序监控数据,所述结构化监控数据包括性能对象对应的结构化监控数据;

将所述多源异构数据进行转换,得到具有预设数据结构的数据,包括:从所述多源异构数据中提取所述性能对象对应的不同结构的数据,将所述性能对象对应的不同结构的数据,分别转换为预设的与时间节点一一对应的数据,根据所述时间节点,将所述性能对象对应的不同结构的数据转换后得到的数据进行合并,得到所述具有预设数据结构的数据,所述具有预设数据结构的数据为所述时间节点分别与所述性能对象对应的不同结构的数据转换后得到的数据具有对应关系的数据,所述对应关系为一对多的关系;

利用已有的所述具有预设数据结构的数据训练初始判断模型得到最终判断模型;

将待判断的多源异构数据输入至所述最终判断模型,通过所述最终判断模型对所述待判断的多源异构数据进行判断,得到判断结果,完成对所述待判断的多源异构数据的处理。

2.根据权利要求1所述的处理方法,其特征在于,将所述多源异构数据进行转换,得到具有预设数据结构的数据,具体为:

确定时间节点,根据所述时间节点,将时序监控数据、结构化监控数据,以及系统的日志数据中性能对象对应的数据分别转换为预设的与时间节点对应的数据,预设的与时间节点对应的数据为具有预设数据结构的数据。

3.根据权利要求2所述的处理方法,其特征在于,将所述多源异构数据进行转换,得到具有预设数据结构的数据,具体包括:

根据所述时间节点,将所述时序监控数据中一个以上性能对象对应的数据分别与所述时间节点进行对齐,得到包括所述时间节点,以及与所述时间节点对应的一个以上性能对象对应的数据的具有预设数据结构的数据;

根据所述时间节点对所述结构化监控数据进行采样将采样的一个以上性能对象对应的结构化监控数据与所述时间节点进行对齐,得到包括所述时间节点,以及与所述时间节点对应的一个以上性能对象对应的数据的具有预设数据结构的数据;

根据所述时间节点提取所述日志数据中的关键字,将与所述关键字有关的信息转换为与所述时间节点对应的事件流,得到包括所述时间节点,以及与所述时间节点对应的一个以上性能对象对应的数据的具有预设数据结构的数据。

4.根据权利要求3所述的处理方法,其特征在于,利用已有的所述具有预设数据结构的数据训练初始判断模型,具体包括:

根据所述时间节点,将一个以上所述性能对象对应的具有预设数据结构的数据进行整合,得到整合数据;

将所述整合数据作为训练样本训练所述初始判断模型。

5.根据权利要求1所述的处理方法,其特征在于,将所述性能对象对应的不同结构的数据,分别转换为预设的与时间节点一一对应的数据,具体包括:

根据所述性能对象对应的时序监控数据中的时间戳与所述时间节点的关系,将所述性能对象对应的时序监控数据与所述时间节点进行对应。

6.根据权利要求1所述的处理方法,其特征在于,将所述性能对象对应的不同结构的数据,分别转换为预设的与时间节点一一对应的数据,具体包括:

对所述性能对象对应的结构化监控数据进行采样;

对采样的所述性能对象对应的结构化监控数据添加时间标签;

根据所述时间标签与所述时间节点的关系,将所述性能对象对应的结构化监控数据与所述时间节点对应。

7.根据权利要求1所述的处理方法,其特征在于,将所述性能对象对应的不同结构的数据,分别转换为预设的与时间节点一一对应的数据,具体包括:

提取所述日志数据对应的文本信息中的关键字;

根据提取所述日志数据对应的文本信息中的关键字时对应的时间与所述时间节点的对应关系,将所述日志数据对应的文本信息转换为与所述时间节点对应事件流。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911073013.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top