[发明专利]信息处理方法和装置

说明书

本发明公开了一种信息处理装置和方法，其中，所述方法包括对嵌入的向量进行编码处理得到编码向量；将所述编码向量的部分向量进行向量重新嵌入；将所述编码向量进行迭代解码和排序过滤处理；将所述迭代解码和排序过滤处理后的表示向量进行部分向量的重新嵌入。因此，本发明实施例通过特征编码模块和排序过滤模块的联合作用，利用特征编码的返回重用，并且不断对编码后的信息不断打分排序，实现特征编码对输入数据模块的高质量反馈。

技术领域

本发明涉及计算机技术领域，尤其涉及一种信息处理方法和装置。

背景技术

从非结构化文本中提取关系三元组(实体-关系-实体)是构建大规模知识图的关键。通常，早期的信息抽取将实体抽取和关系抽取看作串联的任务，这样的串联模型在建模上相对更简单，但这样将实体识别和关系抽取当作两个独立的任务明显会存在以下缺点，1.实体冗余,由于先对抽取的实体进行两两配对，然后再进行关系分类，没有关系的候选实体对所带来的冗余信息，会提升错误率、增加计算复杂度。2.交互缺失,忽略了这两个任务之间的内在联系和依赖关系，从而导致关系抽取任务的结果严重依赖于实体抽取的结果，导致误差累积的问题。

针对上述串联模型明显存在的一些问题，近年来有许多工作考虑将实体识别与关系抽取任务进行联合建模。目前联合抽取模型总体上可分为两大类：1、共享参数的联合抽取模型，2、联合解码的联合抽取模型。

其中，共享参数的联合抽取模型，通过共享参数(共享输入特征或者内部隐层状态)实现联合，此种方法对子模型没有限制，但是由于使用独立的解码算法，导致实体模型和关系模型之间交互不强。

为了加强实体模型和关系模型的交互，联合解码的联合抽取模型被提出来。但是，这种情况下需要对子模型特征的丰富性以及联合解码的精确性之间做权衡：一方面如果设计精确的联合解码算法，往往需要对特征进行限制，例如用条件随机场建模，使用维特比解码算法可以得到全局最优解，但是往往需要限制特征的阶数，导致降低子模型特征的丰富性。另一方面如果使用近似解码算法，比如集束搜索，在特征方面可以抽取任意阶的特征，但是联合解码得到的结果是不精确的。

发明内容

本发明提供一种信息处理方法和装置，能够通过联合抽取模型训练过程中句子的迭代记忆，也可以通过知识图谱的更新进行迭代记忆，实现信息抽取准确率不断提升的良性循环的功能；并且还能够实现了端到端的实体及实体关系(属性)联合抽取，加强了实体和关系(属性)之间的信息交互。

本发明提供一种信息处理装置，包括数据嵌入模块、特征编码模块和排序过滤模块，其中

所述数据嵌入模块，用于向量的嵌入，并将嵌入的向量发送给所述特征编码模块进行编码处理；

所述特征编码模块，用于对所述数据嵌入模块嵌入的向量进行编码处理得到编码向量，并将所述编码向量部分反馈给所述数据嵌入模块进行向量的嵌入，以及将所述编码向量输出给所述排序过滤模块进行处理；

所述排序过滤模块，用于对所述特征编码模块输出的编码向量进行迭代解码和排序过滤处理，并将迭代解码和排序过滤处理后的表示向量部分发送给所述数据嵌入模块进行向量的嵌入；

所述嵌入的向量包括所述特征编码模块反馈的编码向量和所述排序过滤模块处理后反馈的表示向量，还包括预先对输入数据进行处理后的字词混合向量和位置信息向量。

可选地，所述数据嵌入模块，具体还用于：对所述编码向量进行维度变换，得到一个固定维度大小的编码向量，根据尾实体相对于头实体的相对位置，编码得到位置编码向量，然后将其与前述的固定维度大小的编码向量进行拼接，形成新的编码向量，之后，将新的编码向量与所述字词混合向量和位置信息向量共用融入到同一个嵌入层，并发送给所述特征编码模块。

可选地，所述排序过滤模块包括：

迭代解码单元：用于对所述特征编码模块输出的编码向量进行迭代解码处理，并将迭代解码处理后的表示向量发送给打分单元；