[发明专利]一种基于梯度神经网络结构搜索的命名实体识别方法

说明书

本发明涉及一种基于梯度神经网络结构搜索的命名实体识别方法，通过数据网站获取命名实体识别任务的常用数据集，并处理为conll格式；获取数据中单词和字符的分布式表示，将其拼接后作为模型输入；搭建命名实体识别任务的主体模型和循环计算单元搜索结构；进行归一化处理；对循环神经单元的操作权重矩阵和模型整体参数同时进行优化；将连续化的结构表示转化为离散化的结构；搭建命名实体识别任务的完整模型结构，训练和参数调优；使用训练收敛后的完整模型进行命名实体识别，并使用准确度表征模型性能。本发明将基于梯度的结构搜索方法运用到结构较复杂的命名实体识别任务实现中，并根据命名实体识别任务的特殊性进行调整，使其性能得到提升。

技术领域

本发明涉及一种命名实体识别技术，具体为一种基于梯度神经网络结构搜索的命名实体识别方法。

背景技术

近几年来，随着深度学习技术的广泛传播与使用，基于神经网络的方法在很多领域都取得了惊人的成功。基于神经网络的方法在具体任务上的性能往往取决于神经网络的结构，因而研究人员的大部分精力都集中于设计出更优秀的网络结构。随着各领域研究的不断推进，越来越多优秀的神经网络结构被提出，应用于各类任务的神经网络结构也变得越来越复杂，这就意味着依靠人工设计神经网络结构的试错成本和时间成本会变得更加难以承受，由此，结构搜索技术应运而生。

结构搜索技术是一种在给定的搜索空间下，通过设计经济高效的搜索方法，自动获取性能更好、泛化能力更强的神经网络结构的技术，旨在解放研究人员的创造力，将其在设计网络结构的脑力工作中解救出来。其中搜索空间可分为全局搜索空间和基于细胞的搜索空间，目前各种网络结构搜索算法中大多使用基于细胞的搜索空间。搜索空间确定了搜索的网络结构的候选集合，其对网络搜索技术的有效性有着决定性影响，一个恰当设计的搜索空间甚至可能会使该搜索空间内的一个随机的网络结构也能达到不俗的性能。目前，结构搜索技术有几种主流方法：基于梯度的网络结构搜索方法、基于进化算法的结构搜索方法、基于强化学习的结构搜索方法以及基于贝叶斯优化的结构搜索方法。其中，基于梯度的神经结构搜索方法一直受到研究人员的持续关注。

目前网络结构搜索方法大多都应用于图像分类和语言建模等比较轻量级的任务，那是因为神经网络结构搜索的实现对设备的计算能力具有极高的要求，而轻量级的网络结构搜索更有可能在现有的设备上实现。类似于命名实体识别这类任务，其神经网络结构本身就比较复杂，将结构搜索技术应用于该任务具有一定难度。

发明内容

针对现有技术中命名实体识别任务的神经网络结构本身比较复杂，将结构搜索技术应用于命名实体识别任务具有一定难度的现状，本发明要解决的技术问题是提供一种基于梯度神经网络结构搜索的命名实体识别方法，实现命名实体识别模型的自动设计，在保证性能的同时，克服了目前计算机的计算能力有限的问题，使将结构搜索技术应用于命名实体识别任务易于实现。

为了实现上述内容，本发明采取的技术方案是：

本发明提供一种基于梯度神经网络结构搜索的命名实体识别方法，包括以下步骤：

1)通过数据网站获取命名实体识别任务的常用数据集，并将其处理为适用于命名实体识别任务的conll格式；

2)利用循环神经网络和其他预训练词表获取数据中单词和字符的分布式表示，将其拼接后作为模型输入；

3)搭建命名实体识别任务的主体模型和循环计算单元搜索结构；

4)对循环计算单元内部的结构参数数值进行归一化处理；

5)对循环神经单元的操作权重矩阵和模型整体参数同时进行优化，在训练过程中对循环计算单元搜索结构内部和模型整体进行交替优化；

6)根据优化后得到的循环计算单元内部操作的权重差异，将连续化的结构表示转化为离散化的结构，从而确定搜索过程中的循环单元的内部结构；