[发明专利]信息处理方法、信息处理装置、计算机可读存储介质

说明书

一种信息处理方法，包括：从两个神经网络的模型的每一个模型中，读取层结构和层参数；对于所述两个神经网络的模型，从输入层开始顺序地，通过使用宽度优先搜索或深度优先搜索，比较在对应的隐藏层中被构造成图状形式的层，基于对应的层之间的相似度来确定所述两个神经网络的模型之间的匹配度。

技术领域

本发明涉及用于确定神经网络中模型参数的修改的技术。

背景技术

神经网络最近在图像识别、语音识别和自然语言处理领域获得了广泛关注。神经网络是指通过计算机模拟表达活体大脑特征的数学模型。它指的是整体模型，在该整体模型中，通过突触连接形成网络的人工神经元(单元)，通过训练改变突触的键强度而进化为具有解决问题的能力。

专利文献(PTLs)1至3和非专利文献(NPTLs)1至3公开了优化神经网络结构的技术。另外，PTL 2公开了一种在大规模卷积神经网络中有效地设置权重的技术。另外，PTL3公开了一种使用神经网络检测音频事件的技术。此外，NPTL1和2公开了一种适合于图像识别的卷积神经网络。此外，NPTL3还公开了一种使用神经网络估算单词类别的技术。

大规模神经网络的模型参数需要进行长期的训练。例如，NPTL2公开了需要使用四个GPU(图形处理单元)进行为期两到三周的训练。因此，NPTLS 4和5公开了通过使用预先训练过的部分模型参数或通过使用训练过的模型参数作为初始值进行重新训练来设置模型参数的技术。

引文列表

专利文献

PTL 1：日本专利公开号：2015-11510

PTL 2：日本专利公开号：2015-52832

PTL 3：日本专利公开号：2015-57630

非专利文献

NPTL 1:A.Krizhevsky,I.Sutskever and G.E.Hinton,ImageNetClassification with Deep Convolutional Neural Networks,NIPS'12.

NPTL 2:K.Simonyan and A.Zisserman,Very Deep Convolutional Networksfor Large-Scale Image Recognition,ICLR'15.

NPTL 3:X.Ma and E.Hovy,End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF,ACL'16.

NPTL 4:S.Ren,K.He,R.Girshick,and J.Sun,Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks,NIPS'15.

NPTL 5:W.Liu,et al.,SSD:Single Shot MultiBox Detector,ECCV'16.

NPTL 6:P.-T.Yu,H.-H.Tsai,and J.-S.Lin,Digital watermarking based onneural networks for color images,in Signal Processing,vol.81,no.3,2001.

NPTL 7:M.Elarbi,C.B.Amar,and H.Nicolas,Video Watermarking Based onNeural Networks,in Proc.of ICME,2006.