[发明专利]企业描述信息获取方法、装置、电子设备及存储介质

说明书

一种企业描述信息获取方法，包括：确定待提取企业网页；根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。本发明还提供一种企业描述信息获取装置、电子设备及存储介质。本发明能提高企业描述信息获取的有效性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种企业描述信息获取方法、装置、电子设备及存储介质。

背景技术

目前，为了确定与业务匹配的企业，可以通过爬虫技术获取各个企业的官网公开的企业描述信息，但在实践中发现，爬虫技术能通过简单的正则表达式来过滤一部分不需要的信息，但剩下的信息还是存在很多没有用处或者冗余的信息，导致获取到的企业描述信息的有效性不高。

发明内容

鉴于以上内容，有必要提供一种企业描述信息获取方法、装置、电子设备及存储介质，能够提高企业描述信息获取的有效性。

本发明的第一方面提供一种企业描述信息获取方法，所述方法包括：

确定待提取企业网页；

根据预设的多个标签，提取所述待提取企业网页中的多个段落文本；

根据多个所述段落文本的文本长度，对多个所述段落文本进行排序，获得排序文本；

根据预先训练好的语言模型，从所述排序文本中获取企业描述信息，其中，所述语言模型用于输出所述排序文本为企业描述信息的概率。

在一种可能的实现方式中，所述确定待提取企业网页之前，所述企业描述信息获取方法还包括：

获取预设企业网页；

提取所述预设企业网页的主体文本以及描述文本，其中，所述主体文本为所述预设企业网页中的主体标签中的文本内容，所述描述文本为所述预设企业网页中的元数据标签中的网页描述部分的文本内容；

获取所述主体文本的标注信息，其中，所述标注信息用于标注所述主体文本为企业描述信息或用于标注所述主体文本不为企业描述信息；

根据预设规则，对所述描述文本进行过滤，获得过滤文本；

将所述主体文本以及所述标注信息确定为第一样本；

将所述过滤文本确定为第二样本；

根据预设的权重，使用所述第一样本以及所述第二样本，对预设的预训练模型进行再训练，获得训练好的语言模型，其中，所述权重用于调整损失函数的损失值，所述第一样本对应的权重大于所述第二样本对应的权重。

在一种可能的实现方式中，所述根据预设规则，对所述描述文本进行过滤，获得过滤文本包括：

针对每个所述描述文本，判断所述描述文本的长度是否在预设长度阈值范围内；

若所述描述文本的长度在预设长度阈值范围内，判断所述描述文本的语义是否完整；

若所述描述文本的语义完整，确定所述描述文本为过滤文本。

在一种可能的实现方式中，所述排序文本按照文本长度从长到短的排列顺序进行排序，所述根据预先训练好的语言模型，从所述排序文本中获取企业描述信息包括：

从所有所述排序文本中，按照所述排列顺序，依次将排序文本输入至所述语言模型中，获得所述排序文本为企业描述信息的概率，并在所述概率大于预设概率阈值时，确定所述排序文本为目标文本；

实时统计所述目标文本的数量；

判断所述目标文本的数量是否大于第一预设数量阈值；