[发明专利]基于条件随机场的隐式篇章关系识别方法与系统

说明书

本发明涉及一种基于条件随机场的隐式篇章关系识别方法及系统，该方法包括如下步骤：将接收到的语句进行编码以得到词向量序列；对词向量序列中第一语句与第二语句之间的篇章关系进行特征提取以得到多个不同级别的特征向量；根据多个不同级别的特征向量，计算得到多个篇章关系分类对应的初步结果数据；提供用于编码相邻篇章关系之间映射信息的转移矩阵，根据转移矩阵以及初步结果数据计算得到任一篇章关系序列得分，并根据篇章关系序列得分计算得到任一篇章关系序列对应的条件概率。本发明充分利用多级篇章关系之间存在的映射关系，有效提高各个级别分类的性能，也可有效减少在多个级别的分类任务上出现矛盾的预测结果的情况。

技术领域

本发明涉及隐式篇章关系分析技术领域，特别涉及一种基于条件随机场的隐式篇章关系识别方法与系统。

背景技术

自动识别两个语句或子句之间的篇章关系(例如，转折、因果等关系)是篇章分析以及自然语言理解中的一项关键任务。根据两个句子间是否存在连接词，又可以分为显式篇章关系识别以及隐式篇章关系识别。一方面，显式篇章关系识别指的是可以明确指出两个语句之间的语义关系。例如，如例1所示，例1：[如果改革措施不得力]句子1，[投资者就有可能把注意力转向其他新兴市场。]句子2，连接词“如果”明确地指出这两个语句之间为“假设关系”；另一方面，隐式篇章关系识别指的是：部分句子之间由于不存在连接词或其它较为明确的浅层特征，需要首先理解两个语句的语义，然后推导它们之间的关系。如例2所示，例2：[没有团队每一位成员的通力合作]句子1，[项目不可能顺利完成。]句子2。

语句之间的篇章关系通常被定义为一种层次结构。例如，在汉语中，通常将篇章关系分为两个层级，第一篇章级别包括4大类(并列类、转折类、因果类以及解说类)；第二篇章级别包括17小类；此外，篇章连接词(例如，“因为”、“如果”等)可看作为第三级篇章关系。从语义层次的角度来看，第二级篇章关系可以看作是第一级关系的进一步细化，而篇章连接词则是第二级篇章关系的进一步细化。例如，第一级“因果类”关系可进一步细化为“因果关系、条件关系、假设关系、目的关系、背景关系和推断关系”。从存在何种映射的角度来看，第一级篇章关系与第二级篇章关系之间是一对多的映射关系，而第二级篇章关系与连接词之间则是多对多的映射关系(部分连接词存在歧义)。因此，隐式篇章关系识别通常包括多个分类任务：第一级篇章关系分类、第二级篇章关系分类和连接词分类。现有技术中，通常将隐式篇章关系识别中的多个分类任务看作不同、但高度相关的任务，并采用基于多任务的识别模型。多任务学习通过在多个相关的任务之间共享信息，以学习更好的特征表示，从而达到提高每个任务性能的目的。如说明书附图1所示，传统基于多任务的隐式篇章关系识别模型通常包括：共享的输入层、共享的特征抽取层、专用于每个分类任务的MLP层(多层感知机)。

由于多个级别的篇章关系之间存在一定的映射关系。然而，传统的多任务的隐式篇章关系识别方法使用不同的MLP层，对每个分类任务单独预测，没有利用这些篇章关系之间的映射关系，导致影响识别预测结果。

发明内容

基于此，本发明的目的是为了解决现有技术中，由于传统的多任务的隐式篇章关系识别方法中，未考虑多个级别的篇章关系之间存在一定的映射关系导致影响识别预测结果的问题。

本发明提出一种基于条件随机场的隐式篇章关系识别方法，其中，所述方法包括如下步骤：

将接收到的语句进行编码以得到词向量序列，所述语句至少包括相关联的第一语句以及第二语句；

对所述词向量序列中所述第一语句与所述第二语句之间的篇章关系进行特征提取以得到多个不同级别的特征向量；

根据所述多个不同级别的特征向量，计算得到多个篇章关系分类对应的初步结果数据；

提供用于编码相邻篇章关系之间映射信息的转移矩阵，根据所述转移矩阵以及所述初步结果数据计算得到任一篇章关系序列得分，并根据所述篇章关系序列得分计算得到任一篇章关系序列对应的条件概率。