[发明专利]一种语料增强方法、装置、计算机设备以及可读存储介质在审
申请号: | 202111522795.9 | 申请日: | 2021-12-13 |
公开(公告)号: | CN114202029A | 公开(公告)日: | 2022-03-18 |
发明(设计)人: | 卢宁 | 申请(专利权)人: | 深圳壹账通智能科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F40/216;G06F40/242 |
代理公司: | 上海汉之律师事务所 31378 | 代理人: | 周婷婷 |
地址: | 518066 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 语料 增强 方法 装置 计算机 设备 以及 可读 存储 介质 | ||
1.一种语料增强方法,其特征在于,包括:
获取词典和语料库,根据第一词频和第二词频,将所述语料库中无标签的语料进行向量化,获取N维特征矩阵,其中,所述第一词频包括所述无标签的语料的单词在无标签的语料中的词频,所述第二词频包括所述无标签的单词在所述语料库中的词频,N为所述词典中单词的数量;
获取所述语料库中的标签,根据所述标签,将所述N维特征矩阵进行矩阵化,获取用于承载标签与单词的语义的第一矩阵和用于承载标签与语料的语义的第二矩阵;
获取所述第一矩阵和所述第二矩阵的相似度,并根据所述相似度,将所述标签分配给所述无标签的语料。
2.根据权利要求1所述的语料增强方法,其特征在于,所述第一词频的数学表达为:
其中,f1为所述第一词频,fji为词典中第j个词在无标签的语料中的频数,fi为无标签的语料中单词的总频数。
3.根据权利要求1或者2所述的语料增强方法,其特征在于,所述第二词频的数学表达为:
其中,f2为所述第二词频,d为语料库中语料的总数,dj为语料库中包含词典中第j个词的语料的数量。
4.根据权利要求3所述的语料增强方法,其特征在于,所述N维特征矩阵的数学表达为:
其中,Doci为第i条所述无标签的语料所对应的N维特征矩阵,Tj为所述词典中的第j个单词,Wji为Tj对Doci影响权重,fji为词典中第j个词在无标签的语料中的频数,fi为无标签的语料中单词的总频数,d为语料库中语料的总数,dj为语料库中包含词典中第j个词的语料的数量。
5.根据权利要求1所述的语料增强方法,其特征在于,获取所述语料库中的标签,根据所述标签,将所述N维特征矩阵进行矩阵化,获取用于承载标签与单词的语义的第一矩阵和用于承载标签与语料的语义的第二矩阵的步骤包括:
获取所述语料库中标签,根据所述标签以及标签数量M,获取N维特征矩阵,其中,N维特征矩阵为M×N的矩阵;
将N维特征矩阵进行分解,获取用于承载标签与单词的语义的第一矩阵和用于承载标签与语料的语义的第二矩阵,其中,所述N维特征矩阵、所述第一矩阵以及所述第二矩阵的数学表达为:
A=U∑VT
(ATA)VP=λPVP
其中,A为N维特征矩阵,U∑为所述第一矩阵,VT为第二矩阵,AT为N维特征矩阵的转置矩阵,VP为N维特征矩阵的第P个特征向量,λP为N维特征矩阵的第P个特征值。
6.根据权利要求4所述的语料增强方法,其特征在于,将所述标签分配给所述无标签的语料中标签的数学表达为:
其中,Li为第i条分配给所述无标签的语料的标签,label()为取标签运算,Doci(Topic)为第i条分配给所述无标签的语料的标签的N维特征矩阵,Docj(Topic)为第j条有标签的语料的标签的N维特征矩阵,为第j条有标签的语料的标签与第i条所述无标签的语料最大相似度的取值函数,·为内积运算。
7.根据权利要求6所述的语料增强方法,其特征在于,获取所述第一矩阵和第二矩阵的相似度,并根据所述相似度,将所述标签分配给所述无标签的语料的步骤还包括;
获取所述第一矩阵和所述第二矩阵的内积,将内积最大的有标签的语料的标签分配给无标签的语料。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司,未经深圳壹账通智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111522795.9/1.html,转载请声明来源钻瓜专利网。