[发明专利]一种基于Ising模型的无监督词嵌入表示学习方法

权利要求书

1.一种基于Ising模型的无监督词嵌入表示学习方法，其特征在于，包含以下步骤：

步骤S1.将输入的文本数据实体依照Ising Model的数据结构构建稀疏矩阵W_ISM；

步骤S2.将W_ISM经过SLEP的大规模稀疏数据处理得到全局关系矩阵W_WCM；

步骤S3.将输入的文本数据实体划分批次，构建批次文本数据实体集Batch_i＝(Vm_i1,Vm_i2,…,Vm_ij)^T，i＝1,…,n；

步骤S4.依次将n个批次文本数据实体集Batch_i输入至Word2vec模型，利用Skip-Gram框架结合负采样的方法得到各实体Vm_ij的梯度及

其中，u∈{Vm_ij}∪NEG(Vm_ij)，Con(Vm_ij)表示窗口中心实体Vm_ij的上下实体空间，NEG表示窗口中心实体Vm_ij的负采样实体空间；Ve_ij为实体Vm_ij的词嵌入，表示u对应的辅助向量；

步骤S5.利用局部关系矩阵Wscm结合梯度更新辅助向量θ^u，利用负关系矩阵W_NCM结合梯度更新Vm_ij的词嵌入Ve_ij，所述局部关系矩阵Wscm通过实体Vm_ij及其对应的从全局关系矩阵W_WCM中获得，所述负关系矩阵W_NCM通过实体Vm_ij及其对应的负采样空间实体从全局关系矩阵W_WCM中获得；

步骤S2中将采取LogisticR的方式来获取W_ISM的关系得分从而构建全局关系矩阵W_WCM，具体公式如下：

W_WCM＝(X₁X₂，...，X_all)+(X₁X₂，...，X_all)^T (2)

公式(1)中，w_t是所有文本数据实体中第t个实体的权值，z_t是W_ISM的第t列，z_kt是W_ISM的第k行、第t列实体，X_k是z_kt对应的相关度的解，λ是l₁规范正则化参数，ρ是平方2范数的正则化参数；

步骤S4包含以下步骤：

步骤S41.依次将n个批次文本数据实体集Batch_i输入至Word2vec模型，初始化得到批次文本数据实体集Batch_i的词嵌入向量(Ve_i1,Ve_i2,…,Ve_ij)^T，对应关系如下所示：

(Ve_i1,Ve_i2,...,Ve_ij)^T＝(Vm_i1,Vm_i2，...,Vm_ij)^T·W_Ve (3)

公式(3)中，Ve_ij为第j个实体Vm_ij对应的词嵌入，W_Ve则是向量生成过程中的权重矩阵；

步骤S42.将批次文本数据实体集Batch_i经过配对生成Skip-Gram关系，同时采用负采样的方法得到窗口中心实体Vm_ij的上下实体空间Con(Vm_ij)以及窗口中心实体Vm_ij的负采样实体空间NEG(Vm_ij)，从而得出中心实体Vm_ij的预测概率

公式(4)中，u∈{Vm_ij}∪NEG(Vm_ij)，σ为sigmoid激活函数，表示u对应的辅助向量；

步骤S43.依据Batch_i中Ve_ij对上下实体空间Con(Vm_ij)以及负采样实体空间NEG(Vm_ij)中各实体配对之间的预测概率计算总损失函数Loss；

步骤S44.根据总损失函数Loss得到各实体Vm_ij的梯度及

步骤S5中更新后的辅助向量及词嵌入分别为：