[发明专利]机器识别场景下的类别嵌入方法、装置、设备和可读介质

说明书

本公开提供一种机器识别场景下的类别嵌入方法、装置、设备和可读介质，其中，机器识别场景下的类别嵌入方法包括：响应于接收的分类任务，对语料进行学习以确定监督数据，监督数据具有概念表征；对监督数据的样本分布进行最大似然估计；基于胶囊网络中的动态路由算法确定最大似然估计的下界，并根据最大似然估计的下界确定分类模型的损失函数；将监督数据输入至分类模型，以得到样本表征；基于概念表征构建类别嵌入集合，并将样本表征与类别嵌入集合进行融合，以实现分类任务的类别嵌入。通过本公开实施例，可以提高嵌入类别的泛化性和可靠性，进而有助于提高机器识别的可靠性和准确性。

背景技术

目前，类别嵌入(label embedding)是一种将类别信息使用向量表示的技术，可用于增强意图识别任务的表现，在很多任务上都表现出了一定的有效性，其关键点在于嵌入内容、嵌入方法。

在相关技术中，使用类型相关信息包括层级信息、详细描述和属性短语等作为类别的信息进行表征，或者将类别随机初始化为向量，通过对监督数据的学习得到最终的表征。在借助类别嵌入的意图识别任务中，一个重要的环节就是如果得到类别嵌入向量。

但是，现有技术方案中类别嵌入的实现要么依赖于人工的挖掘，要么缺少泛化性。比如，针对一个类别构建其层次信息，或者使用一段文字描述其内涵，都需要人工的参与。又如，若只是使用随机初始化为向量，仅靠监督数据的学习，那么就会依赖监督数据的特性，数据量的大小会影响表征质量，领域会影响表征包含的知识，从而丧失一定的泛化性。

需要说明的是，在所述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种机器识别场景下的、装置、电子设备和可读介质，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的类别嵌入的泛化性差的问题。

根据本公开实施例的第一方面，提供一种机器识别场景下的类别嵌入方法，包括：响应于接收的分类任务，对语料进行学习以确定监督数据，所述监督数据具有概念表征；对所述监督数据的样本分布进行最大似然估计；基于胶囊网络中的动态路由算法确定所述最大似然估计的下界，并根据所述最大似然估计的下界确定分类模型的损失函数；将所述监督数据输入至所述分类模型，以得到样本表征；基于所述概念表征构建类别嵌入集合，并将所述样本表征与所述类别嵌入集合进行融合，以实现所述分类任务的类别嵌入。

在本公开的一种示例性实施例中，响应于接收的分类任务，对语料进行学习以确定监督数据包括：对多个指定领域的语料进行无监督任务学习和/或监督任务学习，以得到样本数据集，所述指定领域包括电商、金融、新闻、法律、计算机、电子、化学和生物钟的至少一种；根据所述样本数据集确定正例样本和负例样本；采用所述对比学习算法对所述正例样本和所述负例样本进行对比学习，以确定所述监督数据。

在本公开的一种示例性实施例中，根据所述样本数据集确定正例样本和负例样本包括：若所述样本数据集是经过所述无监督任务学习确定的，则通过两次dropout算法确定所述样本数据集中的正例样本；将所述样本数据集内除所述正例样本外的其他样本确定为所述负例样本。

在本公开的一种示例性实施例中，根据所述样本数据集确定正例样本和负例样本对所述监督数据的样本分布进行最大似然估计包括：若所述样本数据集是经过所述监督任务学习确定的，则确定所述监督学习任务下的多个标签；确定同一标签下的多个样本数据互为所述正例样本和所述负例样本。

在本公开的一种示例性实施例中，对所述监督数据的样本分布进行最大似然估计包括：对所述监督数据的对数进行似然估计计算；引入概念变量作为隐变量，并对所述似然估计计算的结果进行最大化。