[发明专利]一种复杂实体抽取方法、装置、介质及系统有效
申请号: | 201910625736.0 | 申请日: | 2019-07-11 |
公开(公告)号: | CN110502742B | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 靳小龙;程学旗;席鹏弼;郭嘉丰;李紫宣 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06N3/04;G06N3/08 |
代理公司: | 北京律诚同业知识产权代理有限公司 11006 | 代理人: | 祁建国;张燕华 |
地址: | 100080 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 复杂 实体 抽取 方法 装置 介质 系统 | ||
1.一种复杂实体抽取方法,该方法用于迭层膨胀卷积神经网络,该神经网络包括字级别迭层膨胀卷积神经网络层和词级别迭层膨胀卷积神经网络层,其特征在于,所述方法包括以下步骤:
语料生成步骤,用于构建实体语料集,以采集语料,并对该语料进行自定义格式标注,形成训练集、测试集和/或验证集;
字级别向量生成步骤,用于对所述语料进行预训练,生成字向量,并将该字向量输入所述字级别迭层膨胀卷积神经网络层,得到字级别向量;
自定义特征提取步骤,用于使用分词工具对自由文本进行分词,得到分词结果,并从自由文本中提取所述自定义格式标注的特征;
实体抽取步骤,将所述字级别向量进行拼接后,与词级别特征输入所述词级别迭层膨胀卷积神经网络层,并通过所述迭层膨胀卷积神经网络对所述自由文本进行复杂实体的识别分类,其中,所述词级别特征包括所述词中每个字的字级别向量和自定义标注格式特征;
其中,所述实体抽取步骤进一步包括:
步骤210,将所述字级别向量按照所述分词结果进行拼接,得到每个词在所述字级别迭层膨胀卷积神经网络层的向量表示;
步骤220,将所述每个词在所述字级别迭层膨胀卷积神经网络层的向量表示与词级别特征,进行拼接,得到词语级别的向量表示;
步骤230,将所述词语级别的向量表示输入词级别迭层膨胀卷积神经网络层,得到每个词的隐含层表示;
步骤240,将所述词的隐含层表示输入softmax层,进行复杂实体的识别与分类;
所述字级别向量进行拼接的步骤包括:
步骤211,将所述字向量序列(X1,X2,…,Xt,…,XT)输入所述字级别迭层膨胀卷积神经网络层,得到字级别隐含层表达X;
步骤212,将字向量Xt转化为向量it=D1(0)Xt,Dσ(j)表示第j层膨胀卷积层,σ为膨胀宽度,第Lc膨胀宽度随着层数指数增长,初始输出为it,所述字级别迭层膨胀卷积神经网络每一层的输出为:
步骤213,堆叠一层膨胀宽度为1的卷积层:
步骤214,将Lc+1层网络看成一个块B(·),堆叠k层网络块:
bt(k)=B(bt(k-1)),
所述字级别迭层膨胀卷积神经网络层输出最后一个块;
步骤215,根据所述分词结果,将属于同一个词的所述字级别迭层膨胀卷积神经网络层的输出进行拼接,得到每个词在所述字级别迭层膨胀卷积神经网络层的向量表示序列(h1,h2,…,ht’,…,hT’)。
2.根据权利要求1所述的复杂实体抽取方法,其特征在于,所述迭层膨胀卷积神经网络是在卷积神经网络的滤波器上增加一膨胀宽度。
3.根据权利要求1所述的复杂实体抽取方法,其特征在于,所述自定义标注格式包括:
实体名称M,包括符号和/或特殊字符;
非实体词O;
触发词T;
基本修饰词G。
4.根据权利要求1所述的复杂实体抽取方法,其特征在于,所述自定义特征提取步骤进一步包括:
构建设备触发词词库和基本修饰词词库;
根据所述分词结果、所述设备触发词词库以及所述基本修饰词词库,标注出触发词T以及基本修饰词G,剩余词则标注为非实体词O;
判断所述分词结果中实体名称M,依据所述分词结果中各词在所述语料标注出的实体词中出现的次数和出现总次数的比值,判断该词是否应该被标注为实体名称M,当比值小于一阈值时,则将该词标注为实体名称M。
5.根据权利要求4所述的复杂实体抽取方法,其特征在于,所述迭层膨胀卷积神经网络,还包括:
softmax层,用于对复杂实体的识别与分类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910625736.0/1.html,转载请声明来源钻瓜专利网。