[发明专利]训练数据集生成方法及装置

权利要求书

1.一种训练数据集生成方法，其特征在于，所述方法包括：

抓取网页正文；

检测所述正文中是否包含图片；

如果是，则获取所述图片，标记所述图片在所述正文中的位置；

对所述图片进行识别，得到图片文本数据，将所述图片文本数据回插到所述正文中标记的图片的位置；

依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集；

如果否，则根据所述正文中的文本数据，生成训练数据集。

2.根据权利要求1所述的方法，其特征在于，所述获取所述图片包括：

根据所述正文中包含的图片标签获取所述图片；或者

通过对所述正文所在页面截图获取所述图片。

3.根据权利要求1所述的方法，其特征在于，所述对所述图片进行识别，得到图片文本数据包括：

对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

对所述图片进行内容识别，得到所述图片对应的描述信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述图片进行内容识别，得到所述图片对应的描述信息包括：

利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

5.根据权利要求3所述的方法，其特征在于，所述对所述图片进行识别，得到图片文本数据还包括：

对所述图片中包含的文本信息进行广告信息过滤。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在对所述图片进行识别之前，对所述图片进行检测，并删除未检测通过的图片；

所述对所述图片进行识别包括：

对检测通过的图片进行识别。

7.根据权利要求6所述的方法，其特征在于，所述对所述图片进行检测包括以下任意一种或多种：涉黄检测、广告检测、暴恐检测、违禁检测。

8.一种训练数据集生成装置，其特征在于，所述装置包括：

网页抓取模块，用于抓取网页正文；

正文检测模块，用于检测所述正文中是否包含图片；

图片获取模块，用于获取所述图片；

位置标记模块，用于标记所述图片在所述正文中的位置；

图片识别模块，用于对所述图片获取模块获取的图片进行识别，得到图片文本数据；

回插处理模块，用于将所述图片文本数据回插到所述正文中标记的图片的位置；

训练集生成模块，用于在所述正文中包含图片情况下，依序提取所述正文中的文本数据及回插到所述正文中的图片文本数据，生成训练数据集；在所述正文中不包含图片的情况下，根据所述正文中的文本数据，生成训练数据集。

9.根据权利要求8所述的装置，其特征在于，

所述图片获取模块，具体用于根据所述正文中包含的图片标签获取所述图片；或者通过对所述正文所在页面截图获取所述图片。

10.根据权利要求8所述的装置，其特征在于，所述图片识别模块包括：

文字识别单元，用于对所述图片进行文字识别，得到所述图片中包含的文本信息；和/或

内容识别单元，用于对所述图片进行内容识别，得到所述图片对应的描述信息。

11.根据权利要求10所述的装置，其特征在于，

所述内容识别单元，具体用于利用预先建立的图片内容学习模型对所述图片进行内容识别，得到所述图片对应的描述信息。

12.根据权利要求10所述的装置，其特征在于，所述图片识别模块还包括：

信息过滤单元，用于对所述文字识别单元输出的图片中的文本信息进行广告信息过滤。