[发明专利]融合词粒度概率映射信息的汉越跨语言摘要方法

权利要求书

1.融合词粒度概率映射信息的汉越跨语言摘要方法，其特征在于：所述融合词粒度概率映射信息的汉越跨语言摘要方法的具体步骤如下：

Step1、语料收集：获取汉越文章摘要数据对、汉英文章摘要数据对；

Step2、语料预训练：对收集的语料进行分词预处理；并利用fast-align工具及统计的思想获得汉越概率映射对；并采用编解码注意力机制，以此获取基于汉语文章摘要的关键词；

Step3、概率映射机制的构建：首先获得篇章级文本及目标语言关键词的联合表征，引入Step2中获得的汉越概率映射对，将基于汉越的关键词通过汉越概率映射对迁移到越南语的语义空间中；

Step4、词级概率映射信息的融入：以序列到序列模型Transformer为框架，结合指针网络，对汉越跨语言摘要数据集进行训练，并得到训练好的融合词粒度概率映射信息的汉越跨语言摘要模型，利用测试集对训练好的模型进行测试，得到跨语言摘要结果并进行质量评估。

2.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法，其特征在于：所述Step1包括：

从互联网中爬取基于汉语的文章摘要数据集，并利用google翻译获得基于越南语的文章摘要数据集、基于英语的文章摘要数据集，进而获得30万个汉越文章摘要数据对及30万个汉英文章摘要数据对，通过人工筛选对齐得到10万个汉越文章摘要数据对及10万个汉英文章摘要数据对。

3.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法，其特征在于：所述Step2中，对收集的语料进行分词预处理包括：

汉语使用结巴分词工具进行分词，利用VnCoreNLP工具对越南语进行分词，英语使用原有的词级结构。

4.根据权利要求1所述的融合词粒度概率映射信息的汉越跨语言摘要方法，其特征在于：所述Step2中，并利用fast-align工具及统计的思想获得汉越概率映射对包括：

(1)、利用fast-align工具得到源语言输入序列C＝(c₁,c₂,...,c_j)、目标语言输入序列V＝(v₁,v₂,...,v_r)对应的编码；其中，j，r分别表示源语言、目标语言输入序列的长度，随输入文本的长度变化；

(2)、利用统计的方法汉越概率映射对的计算方法如下：

根据汉越平行语料源语言输入序列C、目标语言输入序列V以及双语对应的编码，得到一个映射对；其中，v_r→c_j表示一个映射对，如式(1)所示，得到每一个v_r映射为c_j的概率P_MP：