[发明专利]面向超大规模图的架构搜索方法、装置、设备及存储介质在审
申请号: | 202210794670.X | 申请日: | 2022-07-07 |
公开(公告)号: | CN114997377A | 公开(公告)日: | 2022-09-02 |
发明(设计)人: | 朱文武;王鑫;关超宇;陈虹 | 申请(专利权)人: | 清华大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苟冬梅 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 超大规模 架构 搜索 方法 装置 设备 存储 介质 | ||
本申请实施例涉及图数据处理技术领域,具体涉及一种面向超大规模图的架构搜索方法、装置、设备及存储介质,旨在快速搜索出处理超大规模的图结构数据的神网络架构。所述方法包括:对超大图进行局部采样,得到所述超大图的一个子图;通过预先定制的重要性采样策略,从预先构建的超网络中采样多个神经网络架构;采用同伴学习方法,通过所述子图对所述多个神经网络架构进行训练,得到多个训练好的神经网络架构;迭代执行上述子图采样、架构采样以及架构训练步骤,得到训练好的超网络;从所述超网络中选取最优架构,所述最优架构用于,所述最优架构用于对所述超大图进行处理,得到图处理结果。
技术领域
本申请实施例涉及图数据处理技术领域,具体而言,涉及一种面向超大规模图的架构搜索方法、装置、设备及存储介质。
背景技术
图数据是由点和边构成的图结构的数据,如社交网络关系图,蛋白质分子结构图等,图神经网络专门用于对图数据进行处理,完成图数据对应的任务。图神经网络架构搜索是根据不同的图数据任务搜索出适应的神经网络架构的,是当今的研究热点,如何对超大规模的图数据进行处理,迅速搜索出合适的架构,更是现在需要解决的问题。现有技术中,神经网络的实际标准设计大多遵循消息传递框架,对于超大图数据的处理,使用了图采样方法,从超大图上采样部分图,只在部分图上训练神经网络。在搜索图神经网络架构时,首先通过一个小的子图进行架构搜索,进而扩展到中等规模的图。
现有技术中,对超大图数据的处理方法只能用于扩展和稳定单个图神经网络的训练,无法处理和训练超网络,进而无法进行架构搜索。通过一个小的子图进行搜索的方法,并不能满足图结构的复杂性和采样的随机性带来的误差,并不能保证搜索到的架构适合原始图,并且其扩展性较差,不能处理上亿规模的图神经网络调优。
发明内容
本申请实施例提供一种面向超大规模图的架构搜索方法、装置、设备及存储介质,旨在快速搜索出处理超大规模的图结构数据的神网络架构。
本申请实施例第一方面提供一种面向超大规模图的架构搜索方法,所述方法包括:
对超大图进行局部采样,得到所述超大图的一个子图;
通过预先定制的重要性采样策略,从预先构建的超网络中采样多个神经网络架构;
采用同伴学习方法,通过所述子图对所述多个神经网络架构进行训练,得到多个训练好的神经网络架构;
迭代执行上述子图采样、架构采样以及架构训练步骤,得到训练好的超网络;
对所述超网络进行架构搜索,得到所述超大图对应的最优架构。
可选地,所述对超大图进行局部采样,得到所述超大图的一个子图,包括:
从所述超大图中确定一个采样区域;
对所述采样区域中的节点和边进行采样,得到所述子图。
可选地,所述通过预先定制的重要性采样策略,从预先构建的超网络中随机采样多个神经网络架构,所述重要性采样策略的定制步骤为:
在进行架构采样时,通过智能体进行决策,从所述超网络中确定多个神经网络架构,对所述多个神经网络架构进行采样;
通过所述多个神经网络架构对图数据进行处理,得到图数据处理结果;
根据所述图数据处理结果的准确度,为所述智能体返回奖励值;
所述智能体根据所述奖励值的大小对下一次采样时的策略进行调整;
迭代执行上述智能体决策、图数据处理、返回奖励值以及策略调整步骤,得到训练好的智能体,所述智能体执行的架构采样策略为所述重要性采样策略。
可选地,所述超网络中包含所有的图网络层,每一个所述图网络层中包含有所有的信息传递方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210794670.X/2.html,转载请声明来源钻瓜专利网。