[发明专利]信息处理方法、装置及存储介质

说明书

本发明实施例公开了一种信息处理方法、装置及存储介质；其中，方法包括：对第一语料进行分词处理，得到所述第一语料的第一词集；所述第一词集包含至少两个词；确定所述第一词集中任意两个词之间的相关度；利用确定的所述第一词集中任意两个词之间的相关度，构建第一词共现网络；所述第一词共现网络表征所述第一词集中词之间的关联关系；利用所述第一词共现网络的数据，结合图卷积神经网络(GCN)模型，确定第一特征矩阵；所述第一特征矩阵为第一词共现网络中各节点对应的特征矩阵；对所述第一特征矩阵进行降维处理，得到词嵌入初始化结果。如此，能够提供合理的词嵌入初始化结果，从而利用该词嵌入初始化结果达到缩短词嵌入训练周期的效果。

技术领域

本发明涉及人工智能领域，尤其涉及一种信息处理方法、装置及存储介质。

背景技术

词嵌入是自然语言处理(NLP，Natural Language Processing)中语言模型与表征学习技术的统称。词嵌入是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，即将每个词或者词组映射为实数域上的向量，这种将词或者词组数字化表示的方式被认为是深度学习在NLP任务中最具有挑战性的问题之一。相关技术中，存在词嵌入初始化方案随意性强，从而使得词嵌入训练周期长的问题。

发明内容

有鉴于此，本发明实施例期望提供一种信息处理方法、装置及存储介质，能够提供合理的词嵌入初始化结果，从而利用该词嵌入初始化结果达到缩短词嵌入训练周期的效果。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种信息处理方法，包括：

对第一语料进行分词处理，得到所述第一语料的第一词集；所述第一词集包含至少两个词；

确定所述第一词集中任意两个词之间的相关度；

利用确定的所述第一词集中任意两个词之间的相关度，构建第一词共现网络；所述第一词共现网络表征所述第一词集中词之间的关联关系；

利用所述第一词共现网络的数据，结合图卷积神经网络(GCN，GraphConvolutional Networks)模型，确定第一特征矩阵；所述第一特征矩阵为第一词共现网络中各节点对应的特征矩阵；

对所述第一特征矩阵进行降维处理，得到词嵌入初始化结果。

上述方案中，所述确定所述第一词集中任意两个词之间的相关度，包括：

利用第一指标，确定任意两个词之间的相关度；其中，当所述任意两个词满足第一预设条件时，所述第一指标是根据所述任意两个词的点互信息(PMI，Pointwise MutualInformation)指标得到的；当所述任意两个词不满足所述第一预设条件时，所述第一指标为第一值。

确定两个词之间的第一指标；

将所述第一指标和第二指标两者之中的较大值作为所述两个词之间的权重值；所述第二指标为第二值；

将所述两个词之间的权重值作为所述两个词之间的相关度。上述方案中，所述利用所述第一词共现网络的数据，结合GCN模型，确定第一特征矩阵，包括：

求取所述第一词共现网络的对称拉普拉斯矩阵；

根据所述对称拉普拉斯矩阵、权重矩阵的初始化参数以及第一映射函数，确定第一特征矩阵。

上述方案中，所述对第一语料进行分词处理，得到所述第一语料的第一词集，包括：

对第一语料进行分词处理，得到处理后的第一语料；

基于第一预设规则，对所述处理后的第一语料进行过滤处理，得到所述第一语料的第一词集。

上述方案中，所述方法还包括：