[发明专利]基于决策树的异常数据源输出方法、装置和计算机设备有效
申请号: | 202010582615.5 | 申请日: | 2020-06-23 |
公开(公告)号: | CN111737493B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 刘利;刘中原;赵世泉 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F16/35;G06F40/289;G06F40/247 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 决策树 异常 数据源 输出 方法 装置 计算机 设备 | ||
1.一种基于决策树的异常数据源输出方法,其特征在于,包括:
获取输入的数据组,所述数据组包括待分析数据与参考数据;其中所述参考数据被人工标注为指定数据类型,所述指定数据类型为正常数据类型或者异常数据类型;
调取预设的知识图谱,并将所述待分析数据与所述参考数据分别映射入所述知识图谱中,从而得到第一知识节点和第二知识节点;
采用预设的打捞工具生成规则,根据所述第一知识点,生成知识节点打捞工具;
使用所述知识节点打捞工具,分别以所述第一知识节点和所述第二知识节点为打捞基点进行知识节点打捞处理,从而对应得到第一节点集合和第二节点集合;其中所述第一节点集合至少包括所述第一知识节点,所述第二节点集合至少包括所述第二知识节点;
在预设的数据流库中,根据预设的数据流匹配方法,获取与所述第一节点集合匹配的第一数据流集合,以及获取与所述第二节点集合匹配的第二数据流集合;其中所述第一数据流集合包括至少一个数据流,所述第二数据流集合包括至少一个数据流;
将所述第一数据流集合和所述第二数据流集合同时输入预设的数据分类模型中进行处理,从而得到所述数据分类模型对应输出的第一数据类别序列和第二数据类别序列;其中数据类别序列中的每个成员为正常数据类型或者异常数据类型;所述数据分类模型基于决策树模型并采用预先收集的训练集训练得到,并且所述训练集不包括所述参考数据;
统计所述第二数据类别序列中数据类型为所述指定数据类型的成员数量,并判断所述成员数量是否大于预设的数量阈值;
若所述成员数量大于预设的数量阈值,则获取所述第一数据类别序列中数据类型为异常数据类型的异常成员,并根据所述第一数据流集合与所述第一数据类别序列的对应关系,获取所述第一数据流集合中与所述异常成员对应的异常数据流;
将所述异常数据流两端的源头记为异常数据源,并输出所述异常数据源。
2.根据权利要求1所述的基于决策树的异常数据源输出方法,其特征在于,所述采用预设的打捞工具生成规则,根据所述第一知识点,生成知识节点打捞工具的步骤之前,包括:
采用预设的知识图谱构建工具对预先收集的数据进行实体识别操作,从而得到多个暂时实体;
比对所述多个暂时实体,以判断所述多个暂时实体中是否存在属于同一个同义词组的多个同义实体;
若所述多个暂时实体中存在属于同一个同义词组的多个同义实体,则进行同义词替换操作,以得到多个最终实体,其中所述同义词替换操作指将所述多个同义实体替换为所述同义词组中的一个词语;
获取所述预先收集的数据中所述多个最终实体之间的实体关系,以形成最终实体-实体关系-最终实体结构的三元组,并依据所述三元组构建成知识图谱。
3.根据权利要求1所述的基于决策树的异常数据源输出方法,其特征在于,所述采用预设的打捞工具生成规则,根据所述第一知识点,生成知识节点打捞工具的步骤,包括:
在所述知识图谱中建立多维坐标系,并得到所述第一知识节点在所述多维坐标系的多维坐标(A1,A2,...,An),其中所述多维坐标系为n维坐标系;
在所述知识图谱中,获取与所述第一知识节点直接连接的全部第一关联节点,并从全部第一关联节点中选出与所述第一知识节点最近的近处节点和与所述第一知识节点最远的远处节点;
获取所述近处节点的多维坐标(B1,B2,...,Bn)和所述远处节点的多维坐标(C1,C2,...,Cn),并根据公式:
计算出打捞距离D,其中Ai为多维坐标(A1,A2,...,An)中的第i维坐标的数值,Bi为多维坐标(B1,B2,...,Bn)中的第i维坐标的数值,Ci为多维坐标(C1,C2,...,Cn)中的第i维坐标的数值,a为预设的均衡参数,a小于1且大于0;
生成有界多维空间,所述有界多维空间为对称空间,所述有界多维空间的中心为打捞基点,并所述有界多维空间的中心离所述有界多维空间的任一边界点的距离均等于所述打捞距离D;
生成打捞工具;其中所述打捞工具打捞得到的知识节点,等于在所述有界多维空间中的知识节点和与打捞基点直接连接的知识节点的并集。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010582615.5/1.html,转载请声明来源钻瓜专利网。