[发明专利]一种面向多语言大数据分析的汉蒙跨语言主题表示及语义对齐模型

权利要求书

1.一种面向多语言大数据分析的汉蒙跨语言主题表示及语义对齐模型，其特征在于：包括以下步骤：

S1.建立汉蒙跨语言BERT词嵌入的多策略联合学习模型M-BERT+Bi-GRU+CRF；

S2.建立融合BERT词嵌入的汉蒙跨语言主题嵌入表示及对齐模型，简称跨语言BERT-ETM；

S3.建立基于DRNN的跨语言层次主题嵌入及对齐模型，简称跨语言DRNN-HETM；

S4.建立跨语言BERT词向量训练和评测的蒙汉对齐句对语料数据集及蒙汉双语对齐词典；

S5.建立主题表示及跨语言主题对齐质量评价的量化指标。

2.根据权利要求1所述的一种面向多语言大数据分析的汉蒙跨语言主题表示及语义对齐模型，其特征在于：所述S1中的汉蒙共享语义空间的跨语言BERT领域词向量表示模型及双语词汇语义对齐词典，利用预训练的高资源汉语BERT词向量优化低资源蒙古语BERT词向量表示，并引导汉蒙单语BERT词嵌入向同一语义空间有效融合，获得汉蒙双语单词共享语义空间的跨语言领域词嵌入及语义对齐词典，并建立汉蒙对齐句对语料数据集，解决汉、蒙语言资源数据不平衡的跨语言词嵌入学习问题。

3.根据权利要求2所述的一种面向多语言大数据分析的汉蒙跨语言主题表示及语义对齐模型，其特征在于：所述S2中的基于BERT的汉蒙跨语言主题嵌入表示及细粒度对齐神经网络模型，用于表示汉蒙文档隐含的单一层次主题比例分布、主题对应的单词分布；在获得汉蒙跨语言BERT词向量基础上，将主题表示为跨语言BERT词向量空间上的跨语言主题向量，表示双语主题单词分布间跨语言混合映射关系；表示存在跨语言多词一义、一词跨领域多义的领域主题语义，支持语义一致性、可解释性好的汉蒙跨语言主题表示及主题细粒度对齐。

4.根据权利要求3所述的一种面向多语言大数据分析的汉蒙跨语言主题表示及语义对齐模型，其特征在于：所述S3中基于BERT的汉蒙跨语言层次化主题嵌入及对齐神经网络模型用于将一般性语义的主题分配给根节点，将更具体语义的主题分配给叶节点，从而将汉蒙文档表示为细粒度的层次化主题结构，实现语义一致性好、细粒度的汉蒙跨语言主题层次关系和对齐关系表示。

5.根据权利要求4所述的一种面向多语言大数据分析的汉蒙跨语言主题表示及语义对齐模型，其特征在于：所述S4中的基于BERT的汉蒙跨语言主题嵌入表示及主题对齐联合深度学习算法用于针对汉蒙语的可比或非可比文档，学习跨语言主题嵌入表示及主题间细粒度对齐关系，解决跨语言主题存在的跨语言多词一义、同一词跨领域多义的表示及对齐问题；还用于鲁棒地处理文档停用词和稀有词，从而使主题表示在一致性、可解释性方面比传统主题模型更好，使主题实现细粒度语义对齐。