[发明专利]一种基于BERT的汉语句子简化方法

摘要

本发明公开了一种基于BERT的汉语句子简化方法，包括以下步骤：步骤1）获取汉语常用词词频表，预训练汉语嵌入模型，义元数据库并获取词语集合，词频，词向量表示与义元表示；步骤2）假设需要简化的句子为s，利用分词工具对s进行分词和词性标注；步骤3）根据词性对内容词进行筛选；步骤4）对句子中的内容词，利用BERT中文模型，获取该词的候选替代词语集合并过滤噪声词；步骤5）利用多个特征，对每个复杂词的候选替代词语集合进行排序；步骤6）确定最终的替代词。本发明没有利用任何标注的平行语料，充分利用预训练语言模型，填补了中文文本简化领域的空白并取得了良好的效果。