[发明专利]训练数据集生成方法及装置

说明书

本发明公开了一种训练数据集生成方法及装置，该方法包括：抓取网页正文；检测所述正文中是否包含图片；如果是，则获取所述图片；对所述图片进行识别，得到图片文本数据；根据所述正文中的文本数据及所述图片文本数据，生成训练数据集；如果否，则根据所述正文中的文本数据，生成训练数据集。利用本发明，可以提高训练数据的丰富性及完整性。

技术领域

本发明涉及数据处理领域，具体涉及一种训练数据集生成方法及装置。

背景技术

深度学习使得机器学习能够实现众多的应用，并拓展了人工智能的领域范围，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习中最核心的问题之一是训练数据，深度学习需要大量的数据，可以说训练数据的多少对人工智能的智能化程度起着关键性的作用。

在现有技术中，训练数据一般分为两种：图片数据和文本数据，这两种数据各自用于人工智能不同的方向，比如，自然语言处理应用中采用文本数据，而在图像识别应用中通常采用图片数据。训练数据的采集通常是利用爬虫工具从网页中抓取网页数据，而网页中往往同时包含有文本及相关图片，如果只单纯地利用其中的文本数据或图片数据，不仅会造成数据的浪费，而且还会使得训练数据信息缺失，影响模型训练效果。

发明内容

本发明实施例提供一种训练数据集生成方法及装置，以提高训练数据的丰富性及完整性。

为此，本发明提供如下技术方案：

一种训练数据集生成方法，所述方法包括：

抓取网页正文；

检测所述正文中是否包含图片；

如果是，则获取所述图片；

对所述图片进行识别，得到图片文本数据；

根据所述正文中的文本数据及所述图片文本数据，生成训练数据集；

如果否，则根据所述正文中的文本数据，生成训练数据集。

可选地，所述获取所述图片包括：

根据所述正文中包含的图片标签获取所述图片；或者

通过对所述正文所在页面截图获取所述图片。

可选地，所述对所述图片进行识别，得到图片文本数据包括：

对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

对所述图片进行内容识别，得到所述图片对应的描述信息。

可选地，所述对所述图片进行内容识别，得到所述图片对应的描述信息包括：

利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

可选地，所述对所述图片进行识别，得到图片文本数据还包括：

对所述图片中包含的文本信息进行广告信息过滤。

可选地，所述方法还包括：

在对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片；

所述对所述图片进行识别包括：

对检测通过的图片进行识别。

可选地，所述对所述图片进行检测包括以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。

可选地，所述方法还包括：

标记所述图片在所述正文中的位置；