[发明专利]一种基于卷积网络在中文分词任务上的领域迁移

摘要

本发明提供了一种基于卷积网络在中文分词任务上的领域迁移方法，在用于中文分词任务的卷积神经网络的基础上，通过在传统的用于计算不同领域分布差异的最大化平均差异Maximum Mean Discrepancy方法中，引入注意力机制attention mechanism，使得在训练神经网络的过程中，注意力机制能够获得对于领域迁移任务更具有帮助的语句信息，将最大化平均差异方法更好的引入到序列标注任务中；同时，在计算最大化平均差异的过程中，为能够正向迁移的语句添加较大的权重，而为没有帮助的语句或是反而产生负面影响的语句添加很小的权重，实现更高效的领域迁移，减少人工语料的标注，缓解自然语言处理NLP研究时由于标注语料工作带来的人工和时间的压力。

主权项

1.一种基于卷积网络在中文分词任务上的领域迁移方法，其特征在于，训练中没有标注的目标领域语料数据时，该方法包括：步骤一、将语料划分为源领域数据和目标领域数据，将含有句子数量较少的领域的数据，通过重复利用，补充到与另一领域句子数量相同；步骤二、将源领域和目标领域的中文字符，利用相同字典，映射为向量表示，输入的待分词文本即数值化为每个字符向量列连接而成的数值矩阵；步骤三、将数值矩阵输入特征卷积层提取得到源领域特征表示以及目标领域特征表示；步骤四、将提取的源领域特征表示输入注意力模块，计算得到权重向量，权重向量点乘提取的源领域特征表示得到加权的源领域特征表示；步骤五、将加权的源领域特征表示和提取的目标领域特征表示分别作为计算MMD的两个输入，得到MMD计算结果；步骤六、将提取的源领域特征表示输入分类卷积层得到每一个字符的预测标签概率；步骤七、将每个字符的标签概率和真实的标签概率输入条件随机场(Conditional Random Field，CRF)，计算似然概率；步骤八、损失函数由似然概率的负对数和MMD计算结果加权求和，MMD计算结果作为正则项，由反向传播算法(Back Propagation,BP)计算更新网络各层权重。