[发明专利]字段抽取引擎的生成方法及装置、电子设备、存储介质

说明书

本申请提供一种字段抽取引擎的生成方法及装置、电子设备、存储介质，方法包括：针对样例集中每一已标注的样例语料，生成与所述样例语料对应的样例规则，获得多个样例规则；逐个选中每一样例规则，作为目标样例规则，并对所述目标样例规则进行泛化处理，直至所述目标样例规则完成泛化处理；当每一样例规则均完成泛化处理，获得多个字段抽取规则；基于所述多个字段抽取规则解释或编译出规则模块，并获得基于所述规则模块的字段抽取引擎。本申请方案，为NLP信息抽取应用在各种缺乏标注数据的业务场景提供了一种快捷的解决方案，克服了主流监督学习方案依赖大规模标注数据的知识瓶颈，也大大减轻了纯手工高代码开发的时间成本。

技术领域

本申请涉及自然语言处理技术领域，特别涉及一种字段抽取引擎的生成方法及装置、电子设备、计算机可读存储介质。

背景技术

自然语言处理(Natural Language Processing，NLP)系统包含两大类：一类是机器学习系统，另一类是传统的规则系统。自然语言处理系统可以应用于在多个领域的信息抽取任务。例如，智能助理对话系统的一项关键任务是问句理解，包括识别问句的意图(intent)以及抽取问句中的相关角色槽位(role slots)。从信息抽取的角度来看，抽取角色槽位就是字段抽取，识别意图就是问句分类。示例性的，对于订票方面的问句，智能助理可从问句中抽取如下槽位信息点(也就是技能开发中所称的“角色槽位”)：时间(time)、出发地(FromLocation)、目的地(ToLocation)、交通方式(VehicleType)等；可识别的意图包括：订票(Booking)、退票(Canceling)等。对于音乐方面的问句，智能助理可从问句中抽取如下槽位信息点：歌唱家(Singer)、歌名(Song)、音乐类型(MusicType)等；可识别的意图包括：播放(PlayMusic)、停止(Stop)等。

字段抽取包括两个子任务，一是确定字段的左右边界，二是为字段赋予一个标签(例如角色槽位)。为应对字段抽取任务，通常可组织或外包足量的标注任务，然后用监督学习的算法训练机器学习模型。标注工作在定义标注规范、培训标注人员、手工标注、标注质量控制等环节需耗费大量人力成本和时间成本。而实际应用场景中，涉及字段抽取的场景非常多，单就智能助理来看，问句包括问天气、问音乐、问股票、问时间、问地点等成千上万场景，针对每一场景必须单独标注数据，需要投入大量资源。

如果通过规则系统处理字段抽取任务，对于每一个需要抽取的字段，也需要手工编写大量规则代码才能实现，同样需要耗费大量人力成本和时间成本。

发明内容

本申请实施例的目的在于提供一种字段抽取引擎的生成方法及装置、电子设备、计算机可读存储介质，用于在较低人力成本和时间成本的前提下，生成执行字段抽取任务的字段抽取引擎。

一方面，本申请方案提供了一种字段抽取引擎的生成方法，包括：

针对样例集中每一样例语料，生成与所述样例语料对应的样例规则，获得多个样例规则；

逐个选中每一样例规则，作为目标样例规则，并对所述目标样例规则进行泛化处理，直至所述目标样例规则完成泛化处理；

将完成泛化处理的目标样例规则作为字段抽取规则，获得多个字段抽取规则；

基于所述多个字段抽取规则解释或编译出规则模块，并获得基于所述规则模块的字段抽取引擎。

在一实施例中，所述生成与所述样例语料对应的样例规则，包括：

对所述样例语料进行分词处理，得到多个词节点；

基于所述样例语料中若干标注字段确定所述多个词节点中的字段左右边界，以及每一标注字段的字段标签，构造所述样例规则；

其中，所述标注字段为携带字段标签的字段，所述标注字段包括若干词节点。