[发明专利]基于法律咨询问题的具有法律属性的事实抽取方法及装置

权利要求书

1.一种基于法律咨询问题的具有法律属性的事实抽取方法，其特征在于，包括：

获取用户的原始咨询问题；

对所述原始咨询问题进行分句处理，获得原子句集合；

将所述原子句集合输入至预先训练好的具有法律属性的事实抽取模型，抽取出原始咨询问题中的具有法律属性的事实；

其中，所述具有法律属性的事实抽取模型包括二阶段BERT预训练模型和解码模型；

所述二阶段BERT预训练模型的训练步骤如下：以通用领域文本为输入，执行MLM预训练任务，执行NSP任务，获得一阶段BERT预训练模型；以多个用户的原始咨询问题的历史数据集为输入，在一阶段BERT预训练模型的基础上，采用修改版的Masked language model执行MLM任务，执行NSP任务，获得训练好的二阶段BERT预训练模型；

修改版的Masked language model中，被Mask的概率为：

其中为系数，为词被抹去的概率，为通用词被抹去的概率；，，分别为实体、属性和取值的标签的集合；实体、属性和取值是由原子句中的具有法律属性的事实拆解出的；

所述解码模型的训练步骤如下：获取多个用户的原始咨询问题的历史数据的数据集；对数据集中每个历史数据进行具有法律属性的事实抽取，获得三元组标识的具有法律属性的事实；对所述三元组表示的具有法律属性的事实中的每个元素进行三元组标签的标注，获得数据集的标签；基于所述数据集的标签，训练所述解码模型，获得训练好的解码模型；

所述三元组包括实体、属性和取值。

2. 如权利要求1所述的基于法律咨询问题的具有法律属性的事实抽取方法，其特征在于，所述解码模型包括基于Dynamic Convolution的三层Decoder结构。

3.如权利要求1所述的基于法律咨询问题的具有法律属性的事实抽取方法，其特征在于，基于所述数据集的标签，训练所述解码模型，获得训练好的解码模型，包括：

将所述数据集的标签构成一个序列；

对所述序列采用自回归和Beam search的方法进行概率解码，以训练出解码模型的参数，获得训练好的解码模型。

4. 如权利要求3所述的基于法律咨询问题的具有法律属性的事实抽取方法，其特征在于，对所述序列采用自回归和Beam search的方法进行概率解码时，概率解码的输出为合法三元组。

5.一种基于法律咨询问题的具有法律属性的事实抽取装置，其特征在于，包括：

原始咨询问题获取模块，用于获取用户的原始咨询问题；

分句处理模块，用于对所述原始咨询问题进行分句处理，获得原子句集合；

具有法律属性的事实抽取模块，用于将所述原子句集合输入至预先训练好的具有法律属性的事实抽取模型，抽取出原始咨询问题中的具有法律属性的事实；

其中，所述具有法律属性的事实抽取模型包括二阶段BERT预训练模型和解码模型；

所述二阶段BERT预训练模型的训练步骤如下：以通用领域文本为输入，执行MLM预训练任务，执行NSP任务，获得一阶段BERT预训练模型；以多个用户的原始咨询问题的历史数据集为输入，在一阶段BERT预训练模型的基础上，采用修改版的Masked language model执行MLM任务，执行NSP任务，获得训练好的二阶段BERT预训练模型；

修改版的Masked language model中，被Mask的概率为：

其中为系数，为词被抹去的概率，为通用词被抹去的概率；，，分别为实体、属性和取值的标签的集合；实体、属性和取值是由原子句中的具有法律属性的事实拆解出的；

所述解码模型的训练步骤如下：获取多个用户的原始咨询问题的历史数据的数据集；对数据集中每个历史数据进行具有法律属性的事实抽取，获得三元组标识的具有法律属性的事实；对所述三元组表示的具有法律属性的事实中的每个元素进行三元组标签的标注，获得数据集的标签；基于所述数据集的标签，训练所述解码模型，获得训练好的解码模型；

所述三元组包括实体、属性和取值。