[发明专利]一种中文字向量学习方法及装置

说明书

本申请提供了一种中文字向量学习方法及装置，该方法包括：将中文词语库中的词进行拆分，得到待学习汉字，并将所述待学习汉字存入汉字库；根据所述中文词语库和汉字库，统计每个待学习汉字在所述中文词语库中的构词数，以及每个待学习汉字在每个词中的使用频次；针对每个待学习汉字，根据该待学习汉字对应的构词数，计算该待学习汉字对应的反词语频率；根据所述每个待学习汉字在每个词中的使用频次和每个待学习汉字的反词语频率进行加权计算，得到每个待学习汉字的字向量。

技术领域

本申请涉及自然语言处理领域，具体而言，涉及一种中文字向量学习方法及装置。

背景技术

语义表示是自然语言处理（Natural Language Processing，缩写为NLP）领域最为重要的研究任务之一，旨在理解蕴含在语言中的意义。在自然语言中，语言以符号的形式存在，如英文字母、汉字、拼音等，但符号本身不具有任何意义，只有当符号被赋予含义之后才能够形成信息，此时符号的含义即为语义。常见的文本语义表示方法有向量空间模型、概率模型、语言模型和词向量（Embedding）模型。

现有技术中，词向量模型是当前语义表示的最好方法。继Word2vec之后，相继涌现出Glove、ELMo、GPT、BERT等基于深度学习的词向量模型，很多学者、科研组织结构开源出较多的已训练好的词向量模型做为预训练模型，并在英文语料上取得相关不错的效果。而与英文的语义表示不同，中文的语义表示需要对文本进行分词，中文分词的效果直接影响后续应用，误差会被级联传播。因分词错误，词向量得不到有效的学习。从而导致文本得不到有效的语义表示，继而在后续如文本分类、预测、序列标注、信息抽取等很多应用场景下会直接导致精度的剧烈下降。另外，中文词语很难穷举，每天都会产生新词，但是字是可穷举的。对于预训练词向量模型会漏掉新词，这无形中也会造成精度的损失。

发明内容

有鉴于此，本申请的目的在于提供一种中文字向量学习方法及装置，用于解决现有技术中如何提高中文语义表示的准确度的问题。

第一方面，本申请实施例提供了一种中文字向量学习方法，该方法包括：

将中文词语库中的词进行拆分，得到待学习汉字，并将所述待学习汉字存入汉字库；

根据所述中文词语库和汉字库，统计每个待学习汉字在所述中文词语库中的构词数，以及每个待学习汉字在每个词中的使用频次；

针对每个待学习汉字，根据该待学习汉字对应的构词数，计算该待学习汉字对应的反词语频率；

根据所述每个待学习汉字在每个词中的使用频次、每个待学习汉字的反词语频率和每个词对应的词向量进行加权计算，得到每个待学习汉字的字向量。

在一些实施例中，所述根据所述每个待学习汉字在每个词中的使用频次、每个待学习汉字的反词语频率和每个词对应的词向量进行加权计算，得到每个待学习汉字的字向量，包括：

针对每个待学习汉字，根据该待学习汉字的反词语频率与每个词中该待学习汉字的使用频次的乘积，和每个词中除该待学习汉字外每个其他汉字的反词语频率与该其他汉字在该词语中的使用频次的乘积，计算该待学习汉字在每个词中的构词权重；

针对每个待学习汉字，根据该待学习汉字在每个词中的构词权重和每个词对应的词向量，计算该待学习汉字的字向量。

在一些实施例中，针对每个待学习汉字，根据该待学习汉字在每个词中的构词权重和每个词对应的词向量，计算该待学习汉字的字向量，包括：

针对每个待学习汉字，计算所有包含该待学习汉字的词语所对应的加权词向量之和作为该待学习汉字的字向量；所述加权词向量是该待学习汉字在每个词中的构词权重与该词语对应的词向量的乘积。

在一些实施例中，在所述将中文词语库中的词进行拆分，得到待学习汉字，并将所述待学习汉字存入汉字库之前，还包括：