[发明专利]基于机器学习的文本分类方法及终端设备

说明书

本发明提供了一种基于机器学习的文本分类方法及终端设备，通过网络爬虫抓取多个网页；针对多个网页中的任一网页，获取网页的统一资源定位符URL和锚文本；对网页的URL和锚文本进行处理，获得第一词组集合；根据第一词组集合和预设置的第二词组集合，计算网页与预设类别的相关度；对与预设类别的相关度大于第一预设值的网页进行处理得到网页文本；通过预设训练集对预设置的深度神经网络文本分类模型进行训练，并通过深度神经网络文本分类模型对网页文本进行文本分类处理，得到网页的子类别。本发明通过与预设类别相对应的文本分类模型，对与该预设类别相关度大于第一预设值的网页文本进行分类，得到该网页文本的子类别，提高了网页文本的分类精度。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于机器学习的文本分类方法及终端设备。

背景技术

随着互联网技术的发展，web(万维网)信息急速膨胀，给人们提供了非常丰富的网络资源，与此同时，由于web数据存在多样复杂性、动态性强等特点，使得人们无法快速找到有效的信息并加以利用。

通过web信息采集技术可以帮助人们迅速获取互联网上的资源，它是通过网络爬虫程序来分析网页的HTML(HyperText Mark-up Language，超文本标记语言)代码，获取网页的超级链接信息，使用广度优先搜索算法和增量存储算法，实现自动的连续分析链接和抓取文件。

对网络爬虫爬取到的文档进行分类具有诸多好处，例如可通过网络爬虫为某一特定行业提供系统收集服务，根据爬虫爬取到的页面进行归类于统计分析，及时向用户推送分类后的有效信息等。然而，现有技术没有针对网络爬虫爬取到的文档进行有效分类的方法。

发明内容

有鉴于此，本发明实施例提供了一种基于机器学习的文本分类方法及终端设备，以解决现有技术中无法对爬虫爬取到的文档进行精准分类的问题。

本发明实施例的第一方面提供了一种基于机器学习的文本分类方法，包括：

通过网络爬虫抓取多个网页；

针对所述多个网页中的任一网页，获取所述网页的统一资源定位符URL和锚文本；

对所述网页的URL和锚文本进行处理，获得第一词组集合；

根据所述第一词组集合和预设置的第二词组集合，计算所述网页与预设类别的相关度，其中，所述第二词组集合中的词组用于标识所述预设类别；

若所述网页与预设类别的相关度大于第一预设值，则对所述网页进行处理得到网页文本；

获取预设训练集，针对所述训练集中的任一文本，所述文本为经过人工分类的文本，所述文本标注有对应的子类别，所述子类别为预设子类别列表中的一种子类别，所述预设子类别列表中的所有子类别构成所述预设类别；

通过所述训练集对预设置的深度神经网络文本分类模型进行训练，直至达到预设的训练终止条件，通过所述深度神经网络文本分类模型对所述网页文本进行文本分类处理，得到所述网页的子类别。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

通过网络爬虫抓取多个网页；

针对所述多个网页中的任一网页，获取所述网页的统一资源定位符URL和锚文本；

对所述网页的URL和锚文本进行处理，获得第一词组集合；

根据所述第一词组集合和预设置的第二词组集合，计算所述网页与预设类别的相关度，其中，所述第二词组集合中的词组用于标识所述预设类别；

若所述网页与预设类别的相关度大于第一预设值，则对所述网页进行处理得到网页文本；