[发明专利]面向图神经网络的鲁棒神经架构搜索方法及其系统在审
申请号: | 202210744891.6 | 申请日: | 2022-06-28 |
公开(公告)号: | CN115018057A | 公开(公告)日: | 2022-09-06 |
发明(设计)人: | 孙亚楠;冯雨麒;王聪;陈红阳 | 申请(专利权)人: | 之江实验室;四川大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 成都正德明志知识产权代理有限公司 51360 | 代理人: | 张小娟 |
地址: | 310000 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 神经网络 神经 架构 搜索 方法 及其 系统 | ||
本发明公开了一种面向图神经网络的鲁棒神经架构搜索方法及其系统,搜索方法包括定义搜索单元、搜索空间和GNN架构;在搜索空间中搜索若干GNN架构,并对所有的GNN架构进行训练;采用对抗攻击方法生成对抗样本,将对抗样本输入每个已训练的GNN架构,将输出的准确率作为其鲁棒性指标;根据GNN架构的鲁棒性指标,搜索出具有相邻下标的GNN架构中满足预设条件的搜索单元,并存储至搜索单元集合;根据搜索单元集合B*中的搜索单元,采用概率增强搜索策略搜索搜索空间中每条边最大权重对应的操作;采用搜索出的每条边的最大权重对应的操作构建形成GNN神经网络架构。
技术领域
本发明涉及神经网络技术领域,具体涉及一种面向图神经网络的鲁棒神经架构搜索方法及其系统。
背景技术
近年来,随着NAS技术的发展,其高效性与对于神经架构自动化的设计方法得到越来越多GNN相关方向研究人员的关注。目前,基于NAS设计GNN模型的方法主要分为三种:基于强化学习的方法、基于进化计算的方法以及基于梯度优化的方法。
虽然上述方法都可以搜索到在多种图相关任务上高精度的GNN模型,但是它们主要针对的是在不存在对抗攻击的情况下部署的GNN模型的精度。然而在实际应用中,由于对抗样本(在输入数据中以特定的算法添加扰动后生成的数据,扰动主要为图数据中边与节点的添加或删除)的存在,GNN模型的对抗鲁棒性也是一个需要考虑的问题。
现有的针对GNN的NAS方法均没有考虑搜索到的GNN模型的对抗鲁棒性,导致搜索到的GNN模型在面对对抗样本时的鲁棒性较差。例如,当GNN被应用于识别金融领域相关系统中的骗子用户时,骗子用户可以通过与信用度高的用户建立联系,修改了GNN的输入数据,从而使GNN将其预测为信用度良好的用户,这使得金融系统的安全性大大降低。
此外,当GNN被应用于垃圾邮件、垃圾广告的识别与过滤时,垃圾邮件、垃圾广告等的制造者可以将这类邮件、广告与正常的邮件、广告建立联系,从而使得GNN过滤器作出错误的预测,这将导致垃圾邮件、广告过滤系统的失效。
因此,一种既考虑搜索到的GNN架构精度的同时,又兼顾其对抗鲁棒性的神经网络架构方法亟待被提出。
发明内容
针对现有技术中的上述不足,本发明提供的面向图神经网络的鲁棒神经架构搜索方法及其系统解决了现有的方法鲁棒性差的问题。
为了达到上述发明目的,本发明采用的技术方案为:
第一方面,提供一种面向图神经网络的鲁棒神经架构搜索方法,其包括:
S1、定义搜索单元为一条边及边上包含的操作构成的二元组,搜索空间S和GNN架构均为一个由若干搜索单元构成的集合;
S2、在搜索空间中搜索若干GNN架构,并对所有的GNN架构进行训练;
S3、采用对抗攻击方法生成对抗样本,将对抗样本输入每个已训练的GNN架构,将输出的准确率作为其鲁棒性指标;
S4、根据GNN架构的鲁棒性指标,搜索出具有相邻下标的GNN架构中满足预设条件的搜索单元,并存储至搜索单元集合;
S5、根据搜索单元集合B*中的搜索单元,采用概率增强搜索策略搜索搜索空间中每条边最大权重对应的操作;
S6、采用搜索出的每条边的最大权重对应的操作构建形成GNN神经网络架构。
进一步地,所述步骤S4包括:
S41、查找架构集中具有相邻下标的GNN架构;判断GNN架构Ai的鲁棒性指标是否大于GNN架构Ai+1的鲁棒性指标;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室;四川大学,未经之江实验室;四川大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210744891.6/2.html,转载请声明来源钻瓜专利网。