[发明专利]一种科技论文语料库的构建方法

摘要

本发明涉及语言数据处理领域，提出一种科技论文语料库的构建方法，包括以下步骤：通过人工下载和爬虫抓取科技论文文档，构建论文集；导入论文集，转换论文格式，清洗冗余和错误信息，提取结构信息；对论文文本进行分词、去除停用词和过滤无语义段落；对所选领域的论文语料数据进行聚类，将研究主题相似的论文放进相同的簇中，构建分类类目主题；对聚类后的语料数据进行自分类测试，验证分类体系的准确性，确定最终该分类系统的类目数目；验证语料库的稳定性、扩展性和内容质量。本发明从语义的角度提出了较为完整的语料库验证体系，验证语料库的准确性、稳定性、扩展性和文本内容质量。

主权项

1.一种科技论文语料库的构建方法，其特征在于：包括以下步骤：S1：通过人工下载和爬虫的方法抓取论文文档，构建科技论文集；S2：导入所述科技论文集，对科技论文的格式进行转换，清洗冗余信息和错误信息，并提取相应的结构信息；S3：对科技论文文本进行分词、去除停用词和过滤无语义段落，构建可供分析的基础文本；S4：通过LDA主题建模聚类方法对所述基础文本进行聚类，将研究主题相似的科技论文放进相同的簇中，构建分类类目主题；S5：对聚类后的基础文本进行自分类测试，验证分类体系的准确性，确定最终该分类系统的类目数目；S6：通过十折交叉验证法验证语料库的稳定性；S7：通过分类器和分类模型验证语料库的扩展性；S8：通过分类器获得科技论文不同部分的语义贡献度，验证语料库的内容质量。