[发明专利]一种法律文书阅读模型及构建方法

权利要求书

1.一种法律文书阅读模型的构建方法，其特征在于：包括以下步骤：

一、Bert层对输入的篇章和问题进行编码；

二、特征融合层融合词性标注和命名实体标注向量；

三、建模层对片段提取预测和是非类型判断的建模；

四、输出层输出片段预测和是非概率预测。

2.根据权利要求1所述的一种法律文书阅读模型的构建方法，其特征在于：Bert层的编码过程包括：

1.1、对输入的篇章和问题进行整理，并整理为三个序列：

(1)单词的词典映射序列：

其中，[CLS]和[SEP]为间隔符，问题序列为token₁,...,token_n，长度为n，篇章序列为token₁,...,token_m，长度为m；

(2)前后句标记序列，问题序列被标记为A，篇章序列被标记为B：{E_A,...,E_A,E_B,...,E_B}；

(3)单词位置序列，问题的位置序列为E₀,...,E_n，篇章的位置序列为E₀',...,E_m'：{E₀,...,E_n,E₀,...,E_m}；

1.2、将单词的词典映射序列、前后句标记序列和单词位置序列求和并进行编码处理，得到编码结果：

{E_[CLS]',E₁',...,E_n',E_[SEP]',E₁',...,E_m',E_[SEP]'}。

3.根据权利要求2所述的一种法律文书阅读模型的构建方法，其特征在于：特征融合层融合词性标注和命名实体标注向量后，得到包含富特征的语义编码向量M_t：

M_t＝[E_t'；C_t]t∈[1,n+m+3]；

得到M序列，表示为M＝{M₁,M₂,...,M_t}。

4.根据权利要求3所述的一种法律文书阅读模型的构建方法，其特征在于：建模层对片段提取预测的建模方法为：使用一个双向LSTM网络，在时间步t上逐时序地处理前向语义编码向量和后向语义编码向量得到前向和后向的上下文向量和将两者连接，得到最终的上下文向量L_t，公式如下：

5.根据权利要求4所述的一种法律文书阅读模型的构建方法，其特征在于：建模层对是非类型判断的建模方法为：

3.1、自注意力层使用激活函数为relu的前馈网络，对特征融合层传递过来M序列中的前后元素M_i和M_j求取注意力值，并使用注意力值得到一个新的融合公式如下：

3.2、使用了平均池化层对新的融合进行处理，得到池化输出P_i：

6.根据权利要求5所述的一种法律文书阅读模型的构建方法，其特征在于：输出层使用MLP多层感知机实现，对于片段预测的输出：

其中，start_logit为篇章token作为答案起始位置概率，end_logit为篇章token作为答案终止位置的概率，W_span和b_span为输出层的权值和偏置；

对于是非预测的输出：

其中，Yes_logit为答案是“Yes”的概率，No_logit为答案是“No”的概率，W_{yes_no}和b_{yes_no}为权值和偏置。