[发明专利]一种基于规则与学习的语义解析方法、装置和电子设备

说明书

本发明公开了一种基于规则与学习的语义解析方法、装置和电子设备。该方法包括：基于规则集中的原有规则识别自然语言语句，生成结构化语句；判断所述结构化语句是否能完整的表达所述自然语言语句的语义，如果不能，则获取所述自然语言语句和所述结构化语句的差异文本，并将所述差异文本输入预先训练的学习模型，生成新的规则；利用所述新的规则更新所述规则集。采用本发明提供的方法利用机器学习得到了新的规则，扩展了自然语言的解析范围，使得不断更新的规则集不仅可以识别规则范围内的文本，还能灵活的随着语言发展而改变；而且该方法的可扩展性强，泛化能力强，解决了基于规则解析局限性的问题。

技术领域

本发明涉及自然语言理解技术领域，尤其涉及一种基于规则与学习的语义解析方法、装置和电子设备。

背景技术

自然语言理解（NLU，Natural Language Understanding）是自然语言处理(NLP，Natrual Language Processing)的子领域，其目标是将人类语言解析成机器可理解并且结构化的完整语义。随着人工智能技术的发展，算法的丰富，算力的提升，自然语言理解也在新的时代迎来了新的发展。

目前，NLU工具主要包括百度的DDParser，腾讯的TexSmart，Rasa NLU，Facebook的Duckling，以及Google Syntaxnet。其中，前两者使用机器学习方法，后三者使用基于规则的识别方法。但是，这些NLU工具都有一定的局限性，完全使用深度学习的NLU工具（例如DDParser与TexSmart）的解析效果受模型训练影响，模型效果不稳定，例如Textsmart无法将时间段解析成结构化数据，无法识别出节日所代表的具体时间等。而基于规则的NLU工具（例如Duckling）仅仅可以识别规则范围内的文本，不能灵活的随着语言发展而改变，后期维护困难，泛化能力弱。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案。

本发明一方面提供了一种基于规则与学习的语义解析方法，包括：

基于规则集中的原有规则识别自然语言语句，生成结构化语句；

判断所述结构化语句是否能完整的表达所述自然语言语句的语义；如果不能，则获取所述自然语言语句和所述结构化语句的差异文本；

将所述差异文本输入预先训练的学习模型，生成新的规则；

利用所述新的规则更新所述规则集。

优选地，所述判断所述结构化语句是否能完整的表达所述自然语言语句的语义，包括：

计算所述结构化语句对所述自然语言语句的拟合度；

判断计算得到的拟合度是否达到拟合度阈值，如果未达到拟合度阈值，则所述结构化语句未能完整的表达所述自然语言语句的语义。

优选地，按照下式计算所述拟合度：

其中为文本编辑距离函数，为所述自然语言语句，为所述结构化语句，为由生成的自然语言文本。

优选地，所述获取所述自然语言语句和所述结构化语句的差异文本包括：

根据和的差异生成所述差异文本。

优选地，将所述差异文本输入预先训练的学习模型，生成新的规则包括：

判断差异文本的数量是否达到预设阈值，若是，则将所述差异文本输入预先训练的学习模型。

优选地，所述利用所述新的规则更新所述规则集包括：

对所述新的规则进行除冗操作，得到除冗后的新规则；