[发明专利]一种基于规则嵌入的文本推断方法及装置

权利要求书

1.一种基于规则嵌入的文本推断方法，其特征在于，该方法包括：

1）将描述用户需求的关键词逻辑表达式转化为等价的析取范式，用户需求是一条命题公式P，则P的析取范式为：

（1）

在公式（1）中，表示合取规则的数量，r_i为第i个用户规则；所述命题公式P中，联结词取自集合，项是一个关键词集合K，包含描述主题或语义相关的关键词及其同义词；依据范式存在定理，命题公式P一定能够转化为与之等价的析取范式，是一条由关键词集合构成的简单合取式，即，其中表示简单合取式中项的个数，构成用户需求的所有简单合取式集合表示为,即为用户规则集，其中表示合取规则的数量；在本步骤中，所述析取范式的英文为Disjunctive Normal Form,缩写为DNF，所述析取范式具有处理用户需求变化的灵活性，通过增删简单合取式能够高效的适应用户需求的变更；

2）判定一个输入文本是否满足用户规则：

利用语义逻辑网络依次对输入文本x进行项检测、合取规则检测和析取范式检测，最终判定一个输入文本是否满足用户规则；

所述一种基于规则嵌入的文本推断方法还包括，一路与所述语义逻辑网络平行设置的神经分类网络，所述神经分类网络用于：对输入文本进行类别预测，获得输入文本符合用户需求的概率，即预测结果；

对所述输入文本分别通过神经分类网络及语义逻辑网络分别进行推断，分别得到两者的预测结果；最后利用Jensen-Shannon散度，简称JS距离，约束两者预测结果的一致性；

所述依次对输入文本x进行项检测、合取规则检测和析取范式检测的具体方法包括：

2-1)项检测

项检测用于判定输入文本是否包含析取范式中项相关的语义；

输入为输入文本；

输出为检测结果记为，表示输入文本包含项的概率；

将输入文本转化为对应的预训练词向量构成的矩阵：记为

，其中代表实数域，u是输入文本的截断长度，d是预训练词向量的长度，是词汇对应的长度为d的向量；

将项转化为向量形式：项的向量为对应关键词集合中，所有关键词对应的预训练词向量的均值，即，其中是集合中的关键词，是对应预训练词向量；

将向量与输入文本的预训练词嵌入矩阵通过矩阵乘法计算得到交互向量，记为：

(2)

对输入文本通过编码网络ENC进行语义编码后得到文本语义向量；

将文本语义向量与交互向量拼接，并经过多层感知机网络MLP进行降维，获得向量，即为输入文本对项K的语义包含关系：

(3)

经过函数激活的值作为检测到输入文本包含项的概率，即推断结果，该概率表示输入文本对项对应关键词集合语义的满足程度：

(4)

是语义逻辑网络预测输入文本x包含项的概率，所述向量还作为下一阶段合取规则模块的输入；表示激活函数，是网络参数；

使用交叉熵损失函数来评估推断结果与真实结果分布之间的差异性，求得损失：

(5)

其中，是项的真实标签，通过文本与关键词的字符串匹配检测和同义词扩充的方式获得；表示训练集合样本期望；M是关键词集合的个数；训练过程通过最小化损失以更新项检测网络中的所有参数；表示使用范数来对项检测网络的参数进行正则化；

2-2)合取规则检测

合取规则检测用于验证输入文本是否满足合取规则的语义；

输入为：步骤2-1）的项表示向量；

输出为：预测输入文本包含合取规则的概率；

合取规则嵌入网络，合取规则包含的项构成序列，其对应项检测获得的项的表示向量构成序列,将序列中所有向量拼接作为输入，经过获得合取规则的表示向量：

(6)

其中，表示的所有项构成的序列；

经过函数激活得到合取规则的检测概率，公式(7)所示，其中表示激活函数，是网络参数，是输入文本包含合取规则的概率，即推断结果：

(7)

采用交叉熵损失函数来衡量预测结果与真实结果的差异，求损失，其中是规则的真实标签，通过相关项标签的布尔值的合取运算获得；表示训练集合样本期望；训练过程通过最小化损失以更新UNet和合取规则检测模块中的所有参数，表示使用范数来对UNet和合取规则检测模块中的所有参数进行正则化：

(8)

2-3)析取范式检测

析取范式检测用于验证输入文本是否满足完整的用户规则集；

输入为：步骤2-2）中的合取规则表示向量和其他相关的合取规则表示向量；

输出为：预测输入文本满足用户规则集的概率；

采用max函数来实现析取网络：将步骤2-2）所述推断结果中最大的概率作为文本推断结果，其中是预测输入文本满足用户规则集的概率，表示取最大概率的函数，表示合取规则检测模块输出的推断结果：

(9)

采用交叉熵损失函数，求损失，如公式(10)所示，其中是输入文本的真实标签，由专家标注文本是否满足用户需求，表示训练集合样本期望，训练过程通过最小化损失以更新语义逻辑网络的所有参数，表示使用范数来对语义逻辑网络的参数进行正则化：

(10)。