[发明专利]标签分类方法、装置、电子设备和存储介质有效
| 申请号： | 202110711706.9 | 申请日： | 2021-06-25 |
| 公开（公告）号： | CN113435499B | 公开（公告）日： | 2023-06-20 |
| 发明（设计）人： | 颜泽龙;王健宗 | 申请（专利权）人： | 平安科技（深圳）有限公司 |
| 主分类号： | G06F18/214 | 分类号： | G06F18/214;G06F16/34 |
| 代理公司： | 深圳中一联合知识产权代理有限公司 44414 | 代理人： | 龙欢 |
| 地址： | 518000 广东省深圳市福田区福*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 标签 分类 方法 装置 电子设备 存储 介质 | ||
1.一种标签分类方法，其特征在于，包括：
获取待处理数据；
确定所述待处理数据和小样本数据集中的每个标准数据之间的第一相似度，所述标准数据为已标注标签且与所述待处理数据同属于第一场景的数据；
根据所述第一相似度，获得所述待处理数据的相似度阈值；
获取所述第二场景的每个数据与每个标签的第三相似度；
根据所述第三相似度的数值分布，得到所述目标阈值；
根据所述相似度阈值以及目标阈值，得到所述待处理数据的实际阈值，所述目标阈值为用于对第二场景的数据进行标签分类的阈值；
确定所述待处理数据和所述小样本数据集的每个标签之间的第二相似度；
根据所述第二相似度和所述实际阈值，确定所述待处理数据具备的标签；
获取所述第二场景的每个数据与每个标签的第三相似度，包括：
获取所述第二场景的每个标签的标签名称Yi；
通过预训练语言模型分别对所述第二场景的每个文本xi和相应标签的标签名称Yi进行编码，得到文本向量表示E(xi)和标签名称向量表示E(Yi)；
所述第二场景的每个标签的向量表示为：
其中α为预设的第一超参数；NI为已标注标签的数据SN中跟该标签Yi有交叉的数据的数量；为已标注标签的数据SN中第i个跟该标签Yi有交叉的数据；
通过所述向量表示确定所述第二场景的每个文本与每个标签的第三相似度f(xi，Yj)＝Cosin(E(xi)，ej)；
根据所述第一相似度，获得所述待处理数据的相似度阈值，包括：
根据所述第一相似度，得到所述待处理数据包含的标签数量nnew，其中，SN为已标注标签的数据；
获取所述待处理数据与所述小样本数据集的每个标签之间的第二相似度f(xnew，Yj)＝Cosin(E(xnew)，eJ)；
将所有的所述第二相似度进行排序；
根据所述标签数量nnew，在排序后的所有所述第二相似度中，选择排名第(nnew+1)的数值，记录为系数
根据所述第一相似度和所述系数，获得相似度阈值为：
其中，eJ为所述小样本数据集的每个标签的标签名称Yj的向量表示，E(xnew)为所述待处理数据xnew的向量表示，E(xi)为所述小样本数据集的每个标准数据xi的向量表示，Z是一个标准化参数，λ是高斯核的一个超参数，|yi|表示小样本数据集包含的标签yi的数量。
2.如权利要求1所述的标签分类方法，其特征在于，根据所述第三相似度的数值分布，得到所述目标阈值，包括：
获取所述第三相似度的最大值max f(x，Y)和所述第三相似度的最小值min f(x，Y)；
所述目标阈值为：
thresholdcommon＝β*max f(x，Y)+(1-β)*min f(x，Y)，其中β为预设的第二超参数。
3.如权利要求2所述的标签分类方法，其特征在于，根据所述待处理数据的相似度阈值以及目标阈值，得到所述待处理数据的实际阈值，包括：
所述待处理数据的实际阈值为threshold＝γ*thresholdcommon+(1-γ)*thresholdspecific，其中，γ为预设的第三超参数。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安科技（深圳）有限公司，未经平安科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110711706.9/1.html，转载请声明来源钻瓜专利网。
