[发明专利]面向图神经网络的鲁棒神经架构搜索方法及其系统在审
申请号: | 202210744891.6 | 申请日: | 2022-06-28 |
公开(公告)号: | CN115018057A | 公开(公告)日: | 2022-09-06 |
发明(设计)人: | 孙亚楠;冯雨麒;王聪;陈红阳 | 申请(专利权)人: | 之江实验室;四川大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 成都正德明志知识产权代理有限公司 51360 | 代理人: | 张小娟 |
地址: | 310000 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 神经网络 神经 架构 搜索 方法 及其 系统 | ||
1.面向图神经网络的鲁棒神经架构搜索方法,其特征在于,包括:
S1、定义搜索单元为一条边及边上包含的操作构成的二元组,搜索空间S和GNN架构均为一个由若干搜索单元构成的集合;
S2、在搜索空间中搜索若干GNN架构,并对所有的GNN架构进行训练;
S3、采用对抗攻击方法生成对抗样本,将对抗样本输入每个已训练的GNN架构,将输出的准确率作为其鲁棒性指标;
S4、根据GNN架构的鲁棒性指标,搜索出具有相邻下标的GNN架构中满足预设条件的搜索单元,并存储至搜索单元集合;
S5、根据搜索单元集合B*中的搜索单元,采用概率增强搜索策略搜索搜索空间中每条边最大权重对应的操作;
S6、采用搜索出的每条边的最大权重对应的操作构建形成GNN神经网络架构。
2.根据权利要求1所述的面向图神经网络的鲁棒神经架构搜索方法,其特征在于,所述步骤S4包括:
S41、查找架构集中具有相邻下标的GNN架构;判断GNN架构Ai的鲁棒性指标是否大于GNN架构Ai+1的鲁棒性指标;
S42、若是,则计算Ai-Ai+1得到的部分搜索单元,并将其存储至集合B1中;
S43、否则,则计算Ai+1-Ai得到的部分搜索单元,并将其存储至集合B2中;
S44、求取集合B1和B2的交集中的搜索单元,并存储至搜索单元集合B*中。
3.根据权利要求1所述的面向图神经网络的鲁棒神经架构搜索方法,其特征在于,所述步骤S5包括:
S51、读取搜索空间中每条边每个操作的权重,构成权重矩阵α,构建一个与权重矩阵α维度相等、且元素均为零的初始矩阵αR;
S52、将初始矩阵αR中对应于搜索单元集合B*中搜索单元的位置的权重设置为1,并计算初始矩阵αR与权重矩阵α的距离度量ψ(α);
S53、根据距离度量,获取对搜索单元集合B*中搜索单元进行概率增强后的权重矩阵α:
s.t.ω*(α)=argminωLtrain(ω,α)
其中,Ltrain(ω,α)和Lval(ω,α)分别为GNN架构在训练集/验证集上的损失;λ为权重变量;ω为GNN架构中的可训练参数;ω*(α)为使得GNN架构在训练集上的损失Ltrain最小时对应的可训练参数ω的值;
S54、根据概率增强后的权重矩阵α,选取搜索空间中每条边的最大权重对应的操作:
其中,0(i,j)为边的最大权重对应的操作;argmax为求一个函数取最大值时其自变量取值的函数,为一条边所有操作组成的集合;为边(i,j)上操作o的权重;i和j分别为边的起点和终点。
4.根据权利要求3所述的面向图神经网络的鲁棒神经架构搜索方法,其特征在于,所述距离度量ψ(α)的计算公式为:
其中,||·||2为欧氏距离。
5.根据权利要求1所述的面向图神经网络的鲁棒神经架构搜索方法,其特征在于,所述搜索空间S中的搜索单元数量大于GNN架构中搜索单元的数量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室;四川大学,未经之江实验室;四川大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210744891.6/1.html,转载请声明来源钻瓜专利网。