[发明专利]一种基于多源迁移学习的数据校验方法有效
申请号: | 201810320808.6 | 申请日: | 2018-04-11 |
公开(公告)号: | CN108549907B | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 李石君;刘洋;杨济海;邓永康;余伟;余放;李宇轩 | 申请(专利权)人: | 武汉大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F17/16 |
代理公司: | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人: | 薛玲 |
地址: | 430072 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 迁移 学习 数据 校验 方法 | ||
1.一种基于多源迁移学习的数据校验方法,其特征在于,包括以下步骤:
步骤1:通过系统数据表得到站点类型、站点电压等级、站点调度等级、站点建成年限、站点中光传输设备数量、站点所属系统以及通过pagerank算法计算得到的站点中心度构建站点属性,通过各省各站点的站点属性进一步构建源数据集并进行归一化,通过预测省份的站点属性进一步构建目标训练集并进行归一化,提取源数据集以及目标训练集对应的站点业务数量并进行归一化;
步骤2:通过迁移学习模型SVR模型以及径向基函数构建基于权重的SVR模型;
步骤3:初始化源数据以及目标省份各站点的权重,归一化初始化源数据以及目标省份各站点的权重,并初始化加权多源TrAdaBoost算法中源数据以及目标省份的站点权重,通过分别合并归一化源数据集以及归一化目标训练数据集、归一化业务数据量训练集以及归一化业务数量得到合并训练集;
步骤4:将合并训练集以及归一化向量通过步骤2建立预测模型并计算模型误差参数;
步骤5:重复步骤4至到最大迭代次数并计算最终的预测模型;
步骤6:用最终的预测模型对目标省份的站点属性进行预测得到目标省份的预测站点业务数量,并对预测站点业务数量进行反归一化。
2.根据权利要求1所述的基于多源迁移学习的数据校验方法,其特征在于:步骤1中所述站点属性即特征向量为:
其中,为省份Sk站点m的站点属性,Sk∈[1,SN],N为省份的数量,为省份Sk站点的数量,为省份Sk站点m的站点类型,为省份Sk站点m的站点电压等级,为省份Sk站点m的站点调度等级,为省份Sk站点m的站点建成年限,为省份Sk站点m的站点中光传输设备数量,为省份Sk站点m的站点所属系统,为省份Sk站点m的站点中心度;
从系统的数据表中可以得到站点类型、站点电压等级、站点调度等级、站点建成年限、站点中光传输设备数量、站点所属系统,省份Sk站点m的站点中心度计算过程首先为根据站点的度以及站点数量进行初始化:
其中,为省份Sk站点m的中心度,为省份Sk站点的数量,为省份Sk站点m的度,进一步根据PageRank算法迭代更新中心度,直到趋于平稳,用以下公式更新:
其中,iter为PageRank算法迭代的次数,NI=500为PageRank算法迭代的总次数,为第iter迭代中省份Sk站点m的中心度,为省份Sk的所有站点对省份Sk站点m有光缆连接的站点集合,为与站点连接的第j个站点的中心度,为站点的与外连接的光缆数目,α为阻尼系数;
根据数据量较大的各个省份的站点属性构建源数据集:
其中,N为数据量较大的省份的数量,为第Sk个源数据,第Sk个源数据即省份Sk包含个样本即个站点:
其中,为省份Sk站点的数量即样本的数量;为省份Sk站点m的站点属性,Sk∈[1,SN],SN为省份的数量,为省份Sk站点的数量,为省份Sk站点m的站点类型,为省份Sk站点m的站点电压等级,为省份Sk站点m的站点调度等级,为省份Sk站点m的站点建成年限,为省份Sk站点m的站点中光传输设备数量,为省份Sk站点m的站点所属系统,为省份Sk站点m的站点中心度;
通过预测省份ST的站点属性构建目标训练集:
其中,nT为目标训练集的样本个数即预测省份ST的站点数量,为预测省份ST站点i的站点属性即特征向量为:
其中,i∈[1,nT],为预测省份ST站点i的站点类型,为预测省份ST站点i的站点电压等级,为预测省份ST站点i的站点调度等级,为预测省份ST站点i的站点建成年限,为预测省份ST站点i的站点中光传输设备数量,为预测省份ST站点i的站点所属系统,为预测省份ST站点i的站点中心度;
分别对源数据集D以及目标训练集进行离散化和归一化,得到归一化源数据集以及归一化目标训练集
统计源数据集D中省份Sk的对应的站点业务数量得到业务数量数据集为:
其中,Sk∈[1,SN],为省份Sk的站点数量计;
统计目标训练集中即省份ST的对应的站点业务数量得到目标业务数量训练集为:
其中,为省份Sk的站点数量计;
将业务数量数据集Y和目标业务数量训练集采用min-max标准化的归一化:
其中,min是取集合最小值,max是取集合最大值,y为业务数量数据集Y和目标业务数量训练集中任意省份的站点数量,业务数量数据集Y和目标业务数量训练集采用min-max标准化的归一化后分别得到归一化业务数量数据集和归一化目标业务数量训练集
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉大学,未经武汉大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810320808.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置