[发明专利]一种基于机器学习的文本分类方法及终端设备

说明书

本发明提供了一种基于机器学习的文本分类方法及终端设备，包括：通过网络爬虫，爬取预设论坛网站的多个网页的网页内容；针对多个网页中的任一网页，对网页的网页内容进行处理，获得网页所对应的一个文本，文本包括网页的栏目数据、标题数据、正文数据及标签数据；获取训练集，包括多个网页所对应的多个文本；针对训练集中的任一文本，为文本设置标识，标识用于表示文本的类别；对文本进行分词处理，并对分词结果向量化，获得文本所对应的特征向量；通过训练集对文本分类模型进行训练；通过完成训练的文本分类模型，对待分类文本进行分类。结合词语在网页中的位置，对网页所对应的文本进行特征化，提高了文本分类精度。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于机器学习的文本分类方法及终端设备。

背景技术

随着互联网技术的发展，web(万维网)信息急速膨胀，给人们提供了非常丰富的网络资源，与此同时，由于web数据存在多样复杂性、动态性强等特点，使人们在如何有效利用它们面临一定的挑战。

对网络文本进行分类具有诸多好处，如向用户推送用户感兴趣的某一类别的信息，进而提高用户的使用体验等等。因此，对海量电子信息进行有效的组织和分类十分重要。然而，现有的文本分类方法，文本分类效率和分类精度都较低。

发明内容

有鉴于此，本发明实施例提供了一种基于机器学习的文本分类方法及终端设备，以解决现有技术中文本分类效率低的问题。

本发明实施例的第一方面提供了一种基于机器学习的文本分类方法，包括：

通过网络爬虫，爬取预设论坛网站的多个网页的网页内容；

针对所述多个网页中的任一网页，对所述网页的网页内容进行处理，获得所述网页所对应的一个文本，所述文本包括所述网页的栏目数据、标题数据、正文数据及标签数据；

获取训练集，所述训练集包括所述多个网页所对应的多个文本；

针对所述训练集中的任一文本，为所述文本设置标识，所述标识用于表示所述文本的类别；

对所述文本进行分词处理，并对分词结果向量化，获得所述文本所对应的特征向量；

通过所述训练集对文本分类模型进行训练；

通过完成训练的文本分类模型，对待分类文本进行分类。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

通过网络爬虫，爬取预设论坛网站的多个网页的网页内容；

针对所述多个网页中的任一网页，对所述网页的网页内容进行处理，获得所述网页所对应的一个文本，所述文本包括所述网页的栏目数据、标题数据、正文数据及标签数据；

获取训练集，所述训练集包括所述多个网页所对应的多个文本；

针对所述训练集中的任一文本，为所述文本设置标识，所述标识用于表示所述文本的类别；

对所述文本进行分词处理，并对分词结果向量化，获得所述文本所对应的特征向量；

通过所述训练集对文本分类模型进行训练；

通过完成训练的文本分类模型，对待分类文本进行分类。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

通过网络爬虫，爬取预设论坛网站的多个网页的网页内容；