[发明专利]资讯文本的获取方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供资讯文本的获取方法，涉及计算机领域，该资讯文本的获取方法包括：对获取到的HTML资讯页面进行解析，得到Dom树有向图结构；HTML资讯页包括多个HTML节点；将Dom树有向图结构中的数据输入至预设的图神经网络深度学习模型，以使图神经网络深度学习模型预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率；获取与多个预测概率中前N个最大的指定概率一一对应的多个HTML指定节点；N为预设数；获取与多个HTML指定节点对应的资讯正文文本。可见，实施这种实施方式，能够提高资讯文本的获取自动化与获取通用性，同时还能够避免人工干预，从而极大程度地降低了资讯文本获取方案中的开发成本和维护成本。

技术领域

本申请涉及计算机领域，具体而言，涉及一种资讯文本的获取方法、装置、电子设备及可读存储介质。

背景技术

目前，各种资讯的获取方式通常都是使用爬虫脚本的方式进行实现的。然而，传统爬虫脚本通常都是先解析HTML网页为Dom树，再根据人工观察的方式抽取出正文内容所在的节点，并通过人工提取的方式获取该节点内包含的所有文字信息。另外，因为每个HTML网页的排版和页面样式都会有些许不同，所以上述的这种使用爬虫脚本的方式还存在通用性的问题。这就使得，整个流程中始终都需要人工干预，从而导致了资讯文本获取方案中的开发成本和维护成本及其高昂。

发明内容

本申请实施例的目的在于提供一种资讯文本的获取方法、装置、电子设备及可读存储介质，能够提高资讯文本的获取自动化与获取通用性，同时还能够避免人工干预，从而极大程度地降低了资讯文本获取方案中的开发成本和维护成本。

本申请实施例第一方面提供了一种资讯文本的获取方法，包括：

对获取到的HTML资讯页面进行解析，得到Dom树有向图结构；所述HTML资讯页包括多个HTML节点；

将所述Dom树有向图结构中的数据输入至预设的图神经网络深度学习模型，以使所述图神经网络深度学习模型预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率；

获取与所述多个预测概率中前N个最大的指定概率一一对应的多个HTML指定节点；N为预设数；

获取与所述多个HTML指定节点对应的资讯正文文本。

在上述实现过程中，该方法能够基于HTML资讯页面进行相应的解析与数据结构转换，同时并根据数据转换得到的结果和预设的人工智能模型识别出正文内容的位置，然后，在基于该位置提取出正文内容的全部资讯正文文本。可见，实施这种实施方式，能够针对不同的网站的不同HTML页面，预测出HTML页面中每个节点属于正文内容的概率，并根据该概率抽取资讯正文文本，从而使得爬虫技术适用于该方法，提高资讯文本的获取通用性，并且还能够在一定程度上提高爬取目标内容的成功概率，还可以提高内容的爬取效率；另外，该方法还不需要人工进行干预，从而能够极大程度地降低资讯文本获取方案中的开发成本和维护成本。

进一步地，所述对获取到的HTML资讯页面进行解析，得到Dom树有向图结构的步骤包括：

对获取到的HTML资讯页面进行解析，得到Dom树；

对所述Dom树进行数据结构转化，得到Dom树有向图结构。

进一步地，所述获取与所述多个HTML指定节点对应的资讯正文文本的步骤包括：

获取所述多个HTML指定节点对应的最小公共父节点；

调取所述最小公共父节点下的字符内容，并标记所述字符内容为资讯正文文本。

进一步地，所述图神经网络深度学习模型预测每个HTML节点属于正文内容的概率，得到与多个HTML节点一一对应的多个预测概率的步骤包括：