[发明专利]基于网络新闻的时评类作文素材语料库的构建方法及系统

说明书

本发明提供一种基于网络新闻的时评类作文素材语料库的构建方法及系统，涉及自然语言处理技术领域。本技术方案对原始网络语料数据先后进行清洗、预处理，以及向量化、特征提取等处理，然后利用K‑Means++策略优化算法和单边增量聚类的方法对传统K均值聚类算法进行改进，再利用改进后的K均值聚类算法对目标文本进行聚类，从而可以实现运用一个概率公式来选取K个聚类中心，通过事先设定相似度比较阈值，快速判断新增文本的主题类别，然后再根据主题类别提取主题词构建语文时评类作文写作素材语料库。本技术方案提高了构建时评类作文写作素材语料库的效率和准确率。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于网络新闻的时评类作文素材语料库的构建方法及系统。

背景技术

时评类作文是一种在中、高考作文考察中的热点题材，在培养学生的思辨能力、逻辑判断能力、独立的价值观和文化品格等方面具有重要作用。如何运用现代技术和海量网络资源对中学生的语文时评类作文写作学习过程进行优化，是一项适用于学科教育信息化发展、教育教学方式变革和学生个人能力提升的重要举措。

目前，对于时评类作文写作素材语料库的构建，主要是通过自然语言处理技术中的文本分类和主题发现等相关算法对原始网络新闻语料进行分类和筛选，抽取其中的主题词，最终形成语料库。而在进行主题发现时，应用聚类算法对文本进行聚类分析从而得到主题类群是最常用的方法，其重点主要是基于样本特征的相似性度量方面对数据进行聚类，进而发现文本中的主题信息。K均值(K-Means)算法是聚类算法中最典型的方法之一。但传统K均值聚类算法在进行聚类时存在选取初始聚类中心时随机性大、对高维数据对象的聚类效果不佳，以及易受噪声、边缘点和孤立点影响等问题。

然而，在构建时评类作文写作素材语料库时，需要处理海量、源源不断更新的网络语料数据，且这些网络语料数据极其复杂，所以传统的K均值聚类算法并不适用，会存在效率低下，结果不精准等问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于网络新闻的时评类作文素材语料库的构建方法及系统，解决了现有技术构建时评类作文写作素材语料库时存在效率低下且结果不精准等问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明首先公开了一种基于网络新闻的时评类作文素材语料库的构建方法，所述方法包括：

基于原始网络新闻语料获取时评类作文写作的初始素材语料库；

利用逻辑回归模型构建文本分类器对所述初始素材语料库进行分类和筛选以获取目标文本；

基于K-Means++策略选取初始聚类中心，以及基于K-Means++的单边增量聚类算法判定新增目标文本的主题类别，对所述目标文本和新增目标文本进行聚类，并抽取所有目标文本中的主题词，构建素材语料库。

优选的，所述基于原始网络新闻语料获取时评类作文写作的初始素材语料库包括：

S11、对获取的原始网络新闻语料进行清洗和预处理；

S12、对经过清洗和预处理后的所述原始网络新闻语料进行向量化和特征提取，获取初始素材语料库。

优选的，所述逻辑回归模型包括Sigmoid逻辑函数。

优选的，所述基于K-Means++策略选取初始聚类中心包括：

步骤1、设定初始聚类中心数量K，设定无标签数据集X＝[x⁽¹⁾,x⁽²⁾,…,x^(m)]；从目标文本数据集D中随机选取一个样本点作为第一个簇心C₁；