[发明专利]一种基于领域特征词法组合的文本模板生成方法

摘要

本发明公开了一种基于领域特征词法组合的文本模板生成方法，属于自然语言处理领域。该方法的基本思想是通过无监督方法构造领域特征词典进行文本标注，再基于标注进行模板生成。该方法的步骤包括：对原始文本进行分词、词性标注等预处理，建立领域特征词典；结合特征词典和正则表达式集合，对任意一条文本生成基于领域特征的标记序列；使用基于标记序列的无监督模板生成算法自动生成文本的模板。利用本发明实施例，能够将人工从底层面向大量重复的样本进行规律提取提升到了高层，程序直接进行无监督的特征提取再由人工对提取的特征进行去噪，无需逐条样本分析再进行特征抽象和制定规则库。同时使程序具有良好的可迁移性，具有很大的实用价值。

主权项

1.一种基于领域特征词法组合的文本模板生成方法，其特征在于，包括以下步骤：步骤1：对大规模待处理原始文本进行预处理，建立领域业务词典，业务操作词典和操作状态词典；步骤2：使用通用数值正则表达式集合，结合步骤1得到的词典，对任意一条文本生成基于领域特征的标记序列，再根据标记序列使用无监督模板生成算法自动生成相应的文本模板；步骤3：将步骤2得到的新的文本模板与已有模板进行模板去重，得到最终的文本模板集合。