[发明专利]一种服务流程抽取方法

权利要求书

1.一种服务流程抽取方法，其特征在于，包括以下步骤：

S1：对数据集中的文档进行数据预处理。

S2：将步骤S1预处理得到的数据基于Bert编码，得到各个词的词向量表示。

S3：基于步骤S2得到的词向量表示，使用单层BILSTM捕获句子中的有效上下文特征。

S4：基于步骤S2得到的词向量表示，使用multi-head attention机制捕获跨句子之间的有效上下文特征。

S5：基于步骤S3和S4得到的上下文特征，使用特征融合层进行特征融合，即融合来自不同粒度的上下文特征。

S6：多任务联合优化，主要包含pairwise局部任务和listwise全局任务。基于pairwise算法得到任意两个事件对的序列关系；在给定文档和事件的条件下，基于listwise算法，模型需要给出与每个事件相对应的等级值，根据事件相对应的等级值得到相应的事件序列关系。之后联合训练pairwise局部任务和listwise全局任务。

S7：使用全局推断模块解决事件对之间无法满足传递性的冲突，训练得到服务流程抽取模型。

2.根据权利要求1所述的服务流程抽取方法，其特征在于，所述的数据预处理方式，包括：对数据集中的事件进行标注，并标注相应的事件id。

3.根据权利要求1所述的服务流程抽取方法，其特征在于，所述的预处理之后的数据基于bert编码得到词向量表示，具体是指：bert模型能够对单词的语义信息进行建模，建模之后可应用于各种下游任务。给定一个文档d，对于文档中的每个字符输入到bert模型中：

其中，表示第i个句子中的第n个字符以及相应的单词经过bert编码后的表示形式。

4.根据权利要求1所述的服务流程抽取方法，其特征在于，所述的使用单层BILSTM捕获句子中的有效上下文特征，具体是指：BILSTM能够捕获句子级别的有效上下文特征，因此在句子上应用了单层BILSTM。基于Bert输出的词向量表示，通过BILSTM层得到句子的特征向量表示：

其中，表示第i个句子中的第n个字符经由BILSTM层得到的特征表示。

5.根据权利要求1所述的服务流程抽取方法，其特征在于，所述的使用multi-headattention机制捕获跨句子之间的有效上下文特征，具体是指：距离是BILSTM特征提取效果的主要限制因素，因此仅使用BILSTM来提取句子中的上下文特征，对于跨句子之间的上下文特征提取，使用了multi-head attention机制，同时定义该层为MHA。基于Bert输出的词向量表示，通过MHA层得到句子的特征向量表示：

其中，表示第i个句子中的第n个字符经由MHA层得到的特征表示。

6.根据权利要求1所述的服务流程抽取方法，其特征在于，所述的使用特征融合层融合来自不同粒度的上下文特征，具体是指：考虑到并非所有特征都对最终的事件序列抽取任务做出同等的贡献，采用门机制来加权不同粒度的上下文信息，定义门机制如下：

其中，g表示门机制的注意力向量，W₁和W₂是模型需要学习的权重系数，b是模型需要学习的偏差系数。σ表示的是sigmoid激活函数。⊙表示向量中对应元素逐个相乘。表示第i个句子中的第n个字符的特征融合表示。