[发明专利]一种基于规则嵌入的文本推断方法及装置

说明书

一种基于规则嵌入的文本推断方法，包括基于预训练的语义逻辑网络，对逻辑规则的不同组件进行神经检索及推断，且支持用户需求改变或任务迁移；结合语义逻辑网络与神经分类网络的平行结构，采用概率分布距离函数Jensen‑Shannon散度，通过网络精调训练约束其推断结果的一致性。本发明提出的语义逻辑网络将用户规则编码为语义向量，能够在检测逻辑规则的同时更好地保留文本的语义信息，支持语言灵活性和文本多样性。本发明还提出了将用户规则集成到神经分类网络中以改善文本推断性能的方法，即结合神经分类网络和语义逻辑网络推断的平行预测结构，采用一致性联合损失，能够使得语义逻辑网络和神经分类网络相互受益，并将规则的检测结果作为文本推断的证据。

技术领域

本发明公开一种基于规则嵌入的文本推断方法及装置，属于自然语言处理的技术领域。

背景技术

舆情订阅是新媒体时代的重要应用场景，其是指由传媒机构依据订阅用户的需求，定期推送用户关注的互联网舆情或新闻等文本，其中用户需求通常以关键词逻辑规则的形式表达，描述了用户偏好的文本内容。基于用户需求的文本推断任务是指判定一个文本是否满足用户需求，该任务在上述场景中具有重要应用价值。

现有处理上述推断任务的技术主要分为两类，一是基于关键词布尔检索结果进行推断，通过比对文本及用户定义的关键词逻辑表达式，找出匹配逻辑表达式的文本，但是这种关键词布尔检索方式存在局限，自然语言的灵活性使得相同语义的文本表达形式具有很大自由度，影响匹配结果。另一种是基于深度学习的分类方法，基于预训练词向量和神经网络进行文本类型推断，在大规模标注数据集上进行监督学习，使得神经网络能够从语义层面理解和推断文本是否满足用户需求，如基于卷积神经网络获取文本表示向量记载在中国专利文献CN113076488A中：一种基于用户数据推荐信息的方法及系统，通过预设关键词对承载用户信息的文本中的特定语句进行特征建模，然而其缺陷是难以处理用户需求所涉及主题的多样性问题，且难以适应用户需求变化。

发明内容

针对现有技术存在的问题，本发明公开一种基于规则嵌入的文本推断方法。

本发明还公开一种实现上述文本推断方法的装置，以实现对文本的推断处理。

发明概述：

一种基于规则嵌入的文本推断方法，包括两部分：一是基于预训练的语义逻辑网络，对逻辑规则的不同组件进行神经检索及推断，且支持用户需求改变或任务迁移；二是结合语义逻辑网络与神经分类网络的平行结构，采用概率分布距离函数Jensen-Shannon散度，通过网络精调训练约束其推断结果的一致性。最后，基于语义逻辑网络和神经分类网络的预测结果进行融合推断，同时语义逻辑网络的激活结果作为文本推断结果的证据。

本发明中提出语义逻辑网络，以神经方式近似逻辑推断过程，该过程包含文本对逻辑规则中不同粒度组件的检测，并组合检测结果，组件包括项、合取和析取。通过引入三个独立的损失函数，分别验证文本对上述组件的包含关系。针对动态变化的用户需求带来的挑战，本发明使用预训练-精调机制训练语义逻辑网络。语义逻辑网络由三个模块构成，分别用于对用户规则中的项、合取规则以及析取规则的语义检测，并组合检测结果进行文本推断。从中文通用语料库如中文维基百科获取文本，并从中文同义词林如中文WordNet获取通用关键词集合语料。使用通用语料预训练每个模块，以增强网络对关键词检测的鲁棒性，并在既往用户数据上进行微调，从而提高对用户需求变更的适应性。

另外，本发明提出一种将可选神经分类网络与语义逻辑网络相结合的平行结构，通过联合训练的方式，精调网络以提升推断性能。为了联合神经分类网络与语义逻辑网络，本发明使用Jensen-Shannon损失函数作为正则化项，通过网络精调阶段训练，约束平行结构两侧预测结果的一致性。

技术术语解释：