[发明专利]异常数据识别方法、装置及系统、搜索方法及装置有效
申请号: | 201610380659.3 | 申请日: | 2016-06-01 |
公开(公告)号: | CN107451157B | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 徐嘉明 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/953 | 分类号: | G06F16/953 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 李辉 |
地址: | 英属开曼*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 异常 数据 识别 方法 装置 系统 搜索 | ||
本申请实施方式公开了异常数据识别方法、装置及系统、搜索方法及装置。异常数据识别方法包括:建立第一类型主体节点和第二类型主体节点间的数据关联网络;分别设置第一类型主体节点和第二类型主体节点的初始异常概率;建立第一节点集合和第二节点集合;基于第一节点集合的节点和第二节点集合的节点间的有向关联关系,修正第一节点集合和第二节点集合中节点的初始异常概率;基于第一节点集合和第二节点集合中节点修正后的初始异常概率,计算数据关联网络中关联数据的异常概率;基于关联数据的异常概率,识别数据关联网络中的异常关联数据。本申请实施方式中的异常数据识别方法、装置及系统、搜索方法及装置,可以提高异常数据识别的准确性。
技术领域
本申请涉及数据处理技术领域,特别涉及一种异常数据识别方法、装置及系统、搜索方法及装置。
背景技术
网络交互平台每天产生着大量的数据。例如,博客、微博等网络交互平台,每天都在产生着大量的访问量数据。又如,购物网站等网络交互平台,每天也都在产生着大量的交易量数据。在网络交互平台产生的数据中,可能存在一些异常数据。这些异常数据一般会影响到网络交互平台的正常运行。因此,需要对网络交互平台产生的异常数据进行识别。
现有技术中,异常数据的识别方法一般如下:
采用人工的方式预先识别出预设数量的异常数据,并统计所述异常数据的特征值;然后,逐一计算网络交互平台产生的每个数据的特征值,并将该特征值与所述异常数据的特征值进行比对,从而识别出异常数据。
发明人发现现有技术中至少存在如下问题:
上述现有技术中,以统计的异常数据特征值为基准,识别网络交互平台产生的数据是否为异常数据。因此,异常数据识别的准确性依赖于统计的异常数据特征值的准确性。但是,在实际情况下,网络交互平台会产生海量的数据。在所述海量数据中,异常数据一般有着极其复杂的表现形式。通过统计得到的异常数据特征值,通常无法准确地反映出所述海量数据中异常数据的各种表现形式。因此,上述现有技术中,统计的异常数据特征值的准确性较低,造成异常数据识别的准确性较低,难以满足实际的需求。
发明内容
本申请实施例的目的是提供一种异常数据识别方法、装置及系统、搜索方法及装置,以提高异常数据识别的准确性。
为解决上述技术问题,本申请实施方式提供的异常数据识别方法、装置及系统、搜索方法及装置是这样实现的:
一种异常数据识别方法,包括:
以网络交互平台进行数据交互的第一类型主体和第二类型主体为节点,建立所述第一类型主体节点和所述第二类型主体节点间的数据关联网络,所述数据关联网络包括节点间的有向关联关系和关联数据;
分别设置所述第一类型主体节点和所述第二类型主体节点的初始异常概率;
以所述第一类型主体节点和所述第二类型主体节点建立第一节点集合和第二节点集合,其中,所述第一节点集合中节点对应的主体为第一类型主体,所述第二节点集合中节点对应的主体为第二类型主体;
基于随机游走概率图模型,使用所述第一节点集合的节点和所述第二节点集合的节点间的有向关联关系和关联数据,对所述第一节点集合和所述第二节点集合中节点的初始异常概率进行运算,以修正所述第一节点集合和所述第二节点集合中节点的初始异常概率;
基于所述第一节点集合和所述第二节点集合中节点修正后的初始异常概率,计算所述数据关联网络中关联数据的异常概率;
基于关联数据的异常概率,识别所述数据关联网络中的异常关联数据。
一种异常数据识别装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610380659.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置