[发明专利]语料生成方法、装置、设备及计算机可读存储介质

说明书

本发明涉及一种大数据处理，揭露一种语料生成方法，包括：根据意图语料生成指令，获取与意图语料生成指令相对应的意图语料模板；获取意图语料模板中的词槽字段，并对词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；通过预设同义词扩展模型，对初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；根据扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入扩展初级语料语句的空白槽位内，生成意图语料。本发明还涉及区块链技术，所述预设同义词扩展模型存储于区块链中。本发明能够提升语料的有效覆盖面；生成批量式有效意图识别测试语料。

技术领域

本发明涉及大数据处理，尤其涉及一种语料生成的方法、装置、电子设备及计算机可读存储介质。

背景技术

在自然语言处理(NLP)领域，语料的生成问题一直是测试工作的一大难题，如何快速生成大批量有效测试语料，已经成为NLP算法测试工作者必须面对且寻求解决的一道坎；在自然语言处理系统中，有意图识别算法的子系统，它是由意图管理—对话管理—词槽管理—词典管理—答案配置管理五大功能组成的子系统；在意图识别算法子系统中对话管理功能实现了意图与对话模板之间的关联关系；同时实现对话模板与槽位之间的关联关系。一个对话模板是由意图中的不同词槽(slot)字段组成的；词槽管理实现的是词槽信息与词典之间的关联关系。词典管理存储着词典字段及对应的词典值。

目前业界内出现了测试领域中用例覆盖不充分的问题。NLP意图识别测试中测试语料库的建设也面临着同样的难题。人工无法从已有的对话模板中进行有效快速的语料生成，通过人工生成的方法在实际工作可行度不高。因此语料的生成方法也成为业界必须面临解决的问题之一。

在目前业界存在各样的生成方法，如通过词槽的排列所生成的语料，但是这类生成方法往往大部分并不满足句子语法习惯，也无法满足实际用户场景的真实输入模拟诉求；与此同时仅通过词槽所在的词典值进行排序组合的句子，在用户输入语料的覆盖面存在较大的不足，仅通过词典值的排序组合的句子，在语法上比较生硬，与用户真实输入表达差异较大。

发明内容

本发明提供一种语料生成方法、装置、电子设备及计算机可读存储介质，其主要目的在于能够提升语料的有效覆盖面；生成批量式有效意图识别测试语料。

第一方面，为实现上述目的，本发明提供的一种语料生成方法，包括：

根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板；

获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

通过预设同义词扩展模型，对所述初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。

第二方面，为了解决上述问题，本发明还提供一种语料生成装置，所述装置包括：

意图语料模板获取模块，用于根据意图语料生成指令，获取与所述意图语料生成指令相对应的意图语料模板；

词槽字段排列组合模块，用于获取所述意图语料模板中的词槽字段，并对所述词槽字段的位置进行排列组合，得到带有空白槽位的初级语料语句；

同义词扩展模块，用于通过预设同义词扩展模型，对所述初级语料语句中的词槽字段进行同义词扩展，得到带有空白槽位的扩展初级语料语句；

意图语料生成模块，用于根据所述扩展初级语料语句的空白槽位所需填入词的词性，从预设噪声词词库中选取相应词性的噪声词填入所述扩展初级语料语句的空白槽位内，生成意图语料。