[发明专利]一种基于注意力机制的商品名称短文本分类方法和系统

权利要求书

1.一种基于注意力机制的商品名称短文本分类方法，包含以下步骤：

(1)对商品名称进行预处理，只保留中文字段；

(2)通过jieba分词，将预处理后的商品名称短文本分成若干个词，去除停用词，对得到的词进行短补长切，统一词的长度到事先设定好的词个数；

(3)将每个词利用Global Entity Linking算法进行实体消歧与链接，通过链接到百度百科的外部知识库，用其结果对短文本中的词扩充解释，丰富上下文语义信息，并将实体链接的结果利用Bert进行word embedding编码，得到相应的特征向量；具体包含以下步骤：

(3-1)将每个词利用Global Entity Linking算法进行实体消歧与链接，通过链接到百度百科的外部知识库，用其结果对短文本中的词扩充解释，丰富上下文语义信息，所述Global Entity Linking算法的公式如下：

其中Γ表示待匹配确定的实体空间集；

·其中φ(m_i,e_i)是定义的兼容性函数，定义如下：

φ(m_i,e_i)＝f(m,e)×g(m,e) (2)

m表示商品文本中待链接的mention；e表示外部知识库中的实体entity；

f(m,e)是上下文无关的分数，主要与mention的字面意思与知识库中候选实体上下文之间的不相关的程度有关，定义如下：

其中，p(e|m)表示商品文本中mention与外部知识库中entity的先验概率，从外部知识库中获取，具体为从链接到百度百科中的锚文本中统计估计得到；E_m是指从外部知识库中，可能与mention产生链接的实体集合；β表示加权概率，对可靠的实体集合E_m通过β来平衡前后的权重；sim(m,e)表示mention和entity的文本相似性，用于约束可能包含噪声的先验概率p(e|m)，sim(m,e)采用余弦相似度来刻画；

g(m,e)是上下文相关的分数，主要与mention的字面意思与知识库中候选实体上下文之间的相关的紧密程度有关，定义如下：

g(m,e)＝sim_t(m,e)×(1-∈+∈×sim_c(m,e)) (4)

其中sim_c(m,e)表示m与e之间的余弦相似度；参数∈用于平衡和控制相关性得分的影响；sim_t(m,e)定义如下：

CT(m)表示商品名称上下文分词后的关键词集合；KP(e)表示可能的实体集合；v_c(w)表示词w的向量化表示形式；D(w,m)表示上下文词w与待链接的词m之间的距离函数，利用词之间的绝对距离来定义；

·coh(e_i,e_j)函数定义为上下文mention所确定的实体集，两两之间的相关性度量，

定义如下：

coh(e_i,e_j)＝γ×rel(e₁,e₂)+(1-γ)×sim(e₁,e₂) (6)

sim(e₁,e₂)表示归一化Google距离的否定形式，用于衡量相似性：

其中，E₁和E₂分别是实体e₁和e₂从百度百科中获取的内联实体集合，E表示整个实体集合；|·|表示集合的个数；利用归一化Google距离的否定形式来比较实体集合之间隐含的实体的相似性；

rel(e₁,e₂)用来进一步表示实体之间的关联性，定义如下：

其中R(e₁,e₂)表示实体e₁和e₂之间的关系集合；T(e₁,r)表示头部实体e₁和关系r的尾部实体集合；H(r,e₂)表示关系r和尾部实体e₂的头部实体集合；参数γ∈[0,1]用于权衡相似性和相关性的权重；

(3-2)将实体链接的结果利用Bert进行word embedding编码，得到相应的特征向量；

(4)将得到的特征向量喂入Transformer网络，利用self-attention机制，挖掘不同词对于税码分类的共享程度，赋予不同词不同的权重，最后通过Softmax对其进行分类，将概率最高的税码类别作为商品名称所属类别，最终确定待分类的商品名称的税码类别标签。