[发明专利]一种语料信息的处理方法和装置

权利要求书

1.一种语料信息的处理方法，包括：

对获取到的语料进行多维的词向量的转换；

通过计算所述词向量与预先获取的理论词向量的损失信息，确定所述词向量的特征维度；

按照所述特征维度，对词向量进行聚类分析，得到词向量的分布信息；

根据所述词向量的分布信息，控制对所述语料的标注操作。

2.根据权利要求1所述的方法，其特征在于，所述损失信息是通过预先获取的双内积PIP损失函数确定的，其中PIP损失的计算表达式如下，包括：

f(x,y)＝‖xx^T-yy^T‖

其中，y＝xU,UU^T＝U^TU＝I；

其中，x为给定数据训练的词向量，y为理想下的词向量，U为矩阵，I为单位矩阵；

其中，

其中，d为理想情况下的维度，k是实际选择的维度，α由词向量方法决定的，λ为M的奇异值，共现矩阵为其中矩阵Z的奇异值独立同分布，均值为0，方差为σ，共现矩阵M为glove之后的词向量矩阵。

3.根据权利要求1所述的方法，其特征在于，所述按照所述特征维度，对词向量进行聚类分析，得到词向量的分布信息，包括：

获取基于广义双曲分布的模型；

利用基于广义双曲分布的模型对词向量的特征维度进行聚类分析，得到以密度信息进行标记的词向量的分布信息。

4.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述词向量的分布信息，控制对所述语料的标注操作，包括：

根据所述词向量分布信息，选择密度最高的N处的词向量作为第一轮标注操作对象，其中N为正整数；

在得到第一轮标注操作的结果后，控制预先设置的深度学习模型根据第一轮标注操作的操作结果执行半监督学习，得到深度学习模型对词向量的标注结果；

根据所述深度学习模型对词向量的标注结果，对词向量进行聚类分析，得到新的分布信息；

选择所述新的分布信息中符合边界点的判断条件的词向量作为第二轮标注操作对象；

在得到第二轮标注操作的结果，控制预先设置的深度学习模型根据第二轮标注操作的操作结果执行半监督学习，得到预测的语料标签。

5.一种语料信息的处理装置，包括：

获取模块，被设置为对获取到的语料进行多维的词向量的转换；

确定模块，被设置为通过计算所述词向量与预先获取的理论词向量的损失信息，确定所述词向量的特征维度；

聚类模块，被设置为按照所述特征维度，对词向量进行聚类分析，得到词向量的分布信息；

控制模块，被设置为根据所述词向量的分布信息，控制对所述语料的标注操作。

6.根据权利要求5所述的装置，其特征在于，所述损失信息是通过预先获取的双内积PIP损失函数确定的，其中PIP损失的计算表达式如下，包括：

f(x,y)＝‖xx^T-yy^T‖

其中，y＝xU,UU^T＝U^TU＝I；

其中，x为给定数据训练的词向量，y为理想下的词向量，U为矩阵，I为单位矩阵；

其中，

其中，d为理想情况下的维度，k是实际选择的维度，α由词向量装置决定的，λ为M的奇异值，共现矩阵为其中矩阵Z的奇异值独立同分布，均值为0，方差为σ，共现矩阵M为glove之后的词向量矩阵。

7.根据权利要求5所述的装置，其特征在于，所述聚类模块包括：

获取单元，被设置为获取基于广义双曲分布的模型；

分析单元，被设置为利用基于广义双曲分布的模型对词向量的特征维度进行聚类分析，得到以密度信息进行标记的词向量的分布信息。