[发明专利]基于函数声明的自然语言语义表示方法、装置和电子设备

说明书

本发明公开了一种基于函数声明的自然语言语义表示方法、装置和电子设备。该方法包括：对自然语言序列进行分词处理，分词结果中的每个词与预生成的上下文无关语法实例中的终结符相对应；根据所述上下文无关语法实例获取与所述终结符关联的函数声明；利用所述函数声明构建所述自然语言序列的语义树；采用高阶函数表达所述语义树，执行得到所述自然语言序列的语义表达结果。不仅能够实现不同语法的自由组合、嵌套，进而实现对复杂自然语言的语义结构表示；而且函数的具体实现方式与函数声明的语义表示过程分离，复用性好，灵活性高；另外，语义表示的结果能够被计算机执行的函数嵌套表示和实现，能够直接执行来完成具体任务。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于函数声明的自然语言语义表示方法、装置和电子设备。

背景技术

语言是人类知识的载体，语义的表示是搭建计算机与人类自然语言的桥梁。在20世纪初期，以索绪尔为代表的一批符号学派语言学家开始系统地研究自然语言的语义表示。到了六十年代末期，随着逻辑学家和语言学家之间的屏障开始被打破，一批理论语言学家们着手为自然语言寻求一套完整的语义理论模式，来对语义进行完整的表示。美国逻辑学家理查德·蒙塔古认为自然语言与形式语言在基本文法逻辑上是一致的，提出的“蒙太古语法”为之后的语义表示研究奠定了基础。

目前，随着人们的研究，出现了多种语义表示方法。其中，早期常用的方法包括一阶逻辑表达式和lambda计算式等，比如对于如下的自然语言语句：所有大于2的质数是奇数。利用一阶逻辑表达式可以表达为：

∀x.prime(x)∧more(x,2)→odd(x)

另一种常用的语义表示方法是正则文法。正则表达式是一种常见的正则文法，是计算机领域常用的字符串匹配方法。它定义了一种字符串模式，匹配自然语言中存在的符合模式的所有子字符串。

还有用有向无环图来更完备地表达语义的方法。例如由帕尔默等人提出的AMR(Abstract Meaning Representation)。一些工业界机构也根据自己的业务场景提出了满足各自需求的多种语义表示方法，例如亚马逊的Alexa语音助手就采用了同样基于有向无环图的AMRL(Alexa Meaning Representation Language)来表示以对话为主的自然语言。

还有的方法中把自然语言直接转化为像python、SQL一样的程序语言，使之能够直接被执行。由于程序语言天然地倾向于消除歧义，这样的方法在某些特定领域有着很强的实用性。

但是，上述这些方法存在以下一些不足：

a. 一阶逻辑既不允许谓词为变量，也不允许对谓词进行量化，这限制了它的灵活性和可用性，无法处理自然语言复杂的组合递归逻辑；

b. 正则表达式在通用场景下只能匹配文本形式，不能表示语义；例如像email、身份证号这一类有很强规律性的字符串就适合于使用正则表达式匹配；而自然语言由于其复杂的递归性、组合性，正则表达式无法完备的进行自然语言语义表示；

c. 大部分基于正则文法和一阶逻辑的语义表示方法在应用场景中，都与具体的业务代码强耦合，很大一部分是完全嵌入代码中的。对于语义表示文法的维护需要直接修改代码，操作难度大、稳定性较差；

d. 基于有向无环图来进行语义表示的方法理论上是一种较为完备的语义表示方法，但是这样的方法需要大量的标注数据来进行模型训练，且模型的准确度和迁移性都不能满足实际应用需求。另外，这一类方法的语义表示结果仍然是计算机不可执行的，需要额外的功能模块来进行二次解析；

e. 将自然语言直接映射到程序语言的方法有很强的场景性，只能在特定领域发挥作用，例如将自然语言表示为SQL语句的。另外，程序语言受限于自身特性，很难完备地描述自然语言的语义。在任务的执行时，这样的方法也受限于具体编程语言。

发明内容