[发明专利]轻量级图神经网络架构搜索方法、装置、分类方法和产品在审
申请号: | 202310478411.0 | 申请日: | 2023-04-28 |
公开(公告)号: | CN116522987A | 公开(公告)日: | 2023-08-01 |
发明(设计)人: | 朱文武;王鑫;谢贝妮 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/042 | 分类号: | G06N3/042;G06N3/082;G06N3/0985;G06N3/063;G06F18/241 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苟冬梅 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 轻量级 神经网络 架构 搜索 方法 装置 分类 产品 | ||
1.一种轻量级图神经网络架构搜索方法,其特征在于,所述方法包括:
利用图数据,对所述超网络进行训练,优化所述超网络的参数,所述参数包括:超网络参数、算子掩码矩阵参数和架构搜索参数;
利用所述超网络对所述图数据进行训练,优化所述图数据的图结构参数;
重复执行上述步骤,得到优化完成后的所述参数和所述图数据的图结构参数;
根据优化完成后的所述图数据的图结构参数,得到稀疏化的图数据;
利用优化完成后的所述架构搜索参数和所述超网络参数,得到最佳架构;
利用优化完成后的所述算子掩码矩阵参数,对所述最佳架构进行裁剪,得到用于执行节点分类任务的轻量级图神经网络架构。
2.根据权利要求1所述的轻量级图神经网络架构搜索方法,其特征在于,所述利用图数据,对所述超网络进行训练,优化所述超网络的参数,包括:
根据所述超网络,为组成所述超网络的算子引入算子掩码矩阵,所述算子掩码矩阵用于存储所述超网络的特征转换通道能否被裁剪的信息;
利用对所述图数据进行训练所得到的优化后的图结构参数,对所述超网络参数和所述算子掩码矩阵进行训练,得到优化后的所述超网络参数和所述算子掩码矩阵参数;
利用对所述图数据进行训练所得到的优化后的图结构参数,对所述架构搜索参数进行训练,得到优化后的所述架构搜索参数,所述架构搜索参数用于控制所述超网络的算子各自的权重。
3.根据权利要求1所述的轻量级图神经网络架构搜索方法,其特征在于,所述利用所述超网络对所述图数据进行训练,优化所述图数据的图结构参数,包括:
根据所述图数据的邻接矩阵,引入邻接矩阵掩码矩阵,所述邻接矩阵掩码矩阵用于存储所述图数据的边是否能被删除的信息;
利用对所述超网络进行训练所得到的优化后的超网络的参数,确定所述图数据中每条边的边删除难度;
根据所述每条边的边删除难度,为所述邻接矩阵掩码矩阵学习过程中的节点分配学习权重;
按照所述学习权重,对所述邻接矩阵掩码矩阵进行课程学习训练,得到优化后的所述图数据的图结构参数。
4.根据权利要求3所述的轻量级图神经网络架构搜索方法,其特征在于,所述利用对所述超网络进行训练所得到的优化后的超网络的参数,确定所述图数据中每条边的边删除难度,包括:
利用对所述超网络进行训练所得到的优化后的超网络的参数,确定所述每条边的架构角度边删除难度,所述架构角度边删除难度表示不同的架构对于是否删除该条边的分歧程度;
利用对所述超网络进行训练所得到的优化后的超网络的参数,确定所述每条边的节点角度边删除难度,所述节点角度边删除难度表示该条边的两个节点的特征相似程度和信息噪声水平;
根据所述架构角度边删除难度和所述节点角度边删除难度,确定所述图数据中每条边的边删除难度。
5.根据权利要求4所述的轻量级图神经网络架构搜索方法,其特征在于,所述利用对所述超网络进行训练所得到的优化后的超网络的参数,确定所述每条边的架构角度边删除难度,包括:
利用对所述超网络进行训练所得到的优化后的超网络的参数,对所述超网络进行裁剪,得到优化后的超网络;
从所述优化后的超网络中,抽样K个图神经网络架构;
利用所述K个图神经网络架构,对每条边求梯度,每条边得到K个梯度值;
将所述K个梯度值的标准差确定为该条边的所述架构角度边删除难度。
6.根据权利要求1所述的轻量级图神经网络架构搜索方法,其特征在于,在对所述最佳架构进行裁剪后,所述方法还包括:
利用裁剪后得到的最佳架构和所述稀疏化的图数据,进行节点分类任务训练,得到所述用于执行节点分类任务的轻量级图神经网络架构。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310478411.0/1.html,转载请声明来源钻瓜专利网。