[发明专利]评估语义理解准确率的方法、装置、存储介质和电子设备

说明书

本发明实施例公开了一种评估语义理解准确率的方法、装置、存储介质和电子设备。该语义理解准确率的方法包括：获得标准测试文件；调用被测试的当前正则表达式获得的当前测试意图分类；判断所述当前测试意图分类与标准用户意图的分类是否一致；统计所述当前测试意图分类与从标准用户意图的分类一致或不一致的概率。该方法只需要将一个标准测试文件维护好，即可评估当前测试意图分类是否准确，并及时修正正则表达式，从而提高正则表达式的准确率。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种基于正则表达式的语义理解准确率的评估方法、装置、存储介质和电子设备。

背景技术

利用正则表达式来描述字符串的组成规则，并利用正则表达式来判断某些字符串的组成规则是否与该正则表达式所对应的字符串组成规则相匹配，进而根据不同的匹配结果执行不同的操作。换言之，正则表达式可以用简单的语法来描述复杂的数据特征，因此被广泛应用于网络入侵检测、文档内容检索等多个领域。

例如，在网络、语音通话、短信等业务领域，常使用正则表达式对语音、文本语句进行深度检测。即通过与事先设定的测试集进行匹配，以识别、分类或阻止具有特殊数据或者特定载荷的数据包，在对抗病毒、垃圾邮件、非法入侵等方面发挥着重要作用。

在对话系统中，语义理解需要支持各种各样的用户说法，因此实际应用中会使用正则表达式覆盖用户不同的说法。然而，如果正则表达式条件写的太宽泛，则有可能匹配到错误的意图；如果正则表达式写的太严格，又可能出现用户的说法无法匹配到意图。因此，在新增或者修改正则表达式的时候，需要重新全量测试正则表达式的准确率。然而，修改正则表达式后，常出现用户说法与匹配意图准确率低的问题。

发明内容

为此，本发明实施例提供一种基于正则表达式的语义理解准确率的评估方法、装置、存储介质和电子设备，以解决现有技术中由于更新正则表达式而导致的用户说法与匹配意图准确率低的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面提供一种评估语义理解准确率的方法，所述语义理解准确率的方法包括：

获得标准测试文件，在所述标准测试文件中，用户说法与正确的标准用户意图匹配；

调用当前测试意图分类，所述当前测试意图分类是根据被测试的当前正则表达式获得的意图分类；

判断所述当前测试意图分类与所述标准用户意图的分类是否一致；

统计所述当前测试意图分类与所述标准用户意图的分类一致或不一致的概率。

其中，所述获得标准测试文件的步骤包括：

获得标准测试集表格，在所述标准测试集表格中，用户说法用正确的标准用户意图标注；

根据所述标准测试集表格生成所述标准测试文件。

其中，所述调用根据被测试的当前正则表达式获得的当前测试意图分类，并从中获得与测试用户说法相匹配的测试用户意图包括：

从测试集表格中读取当前测试集数据；

调用被测试的所述当前正则表达式；

按照所述当前正则表达式从所述当前测试集数据中获得所述当前测试意图分类。

优选地，当所述当前测试意图分类与所述标准用户意图的分类不一致时，将该不一致的测试用户意图分类输出。

优选地，当所述当前测试意图分类与所述标准用户意图的分类不一致的概率大于预设值时，或者，当所述当前测试意图分类与所述标准用户意图的分类一致的概率小于预设值时，修正所述当前正则表达式。

本发明第二方面提供一种评估语义理解准确率的装置，所述评估语义理解准确率的装置包括：