[发明专利]待标注数据的拾取方法、装置、电子设备和存储介质

说明书

本发明公开一种待标注数据的拾取方法、装置、电子设备和存储介质，涉及数据标注领域。所述方法包括：获取用户所参与的标注任务；基于所述标注任务，为所述用户提供用于固定数据的输入格式；在所述用户正在浏览的页面上，突显所述标注任务下的已采集数据，以得到数据捕获区域；通过用户行为确定所述用户在所述数据捕获区域中捕获的网页区域和内容；基于所述输入格式，将所述网页区域和内容传输给数据标注系统。本发明可以精准完成数据获取和格式校验并同步提交到标注系统，大幅提升标注效率。

技术领域

本发明属于数据标注领域，涉及一种待标注数据的拾取方法、装置、电子设备和存储介质。

背景技术

随着深度学习技术的快速发展，人工智能的应用融入各行各业，其中计算机视觉技术和自然语言处理技术有很大的应用场景，例如汽车自动驾驶、人脸识别、以图搜图、目标检测、智能问答等。当前计算机视觉和自然语言处理是深度学习领域最热门的两个研究领域，该领域中神经网络的训练需要大量标注数据，随着技术的不断发展，高质量的标注数据有着长期的需求。因此，高效地获取大量高质量标注数据对深度学习模型的落地有十足的推动作用，然而面对不同的应用场景，往往需要不同的标注数据，而这些数据通常也不是现成的，是需要用户手动标注的，现有众多标注系统和方法可以完成数据标注过程，但现有技术中，均未考虑到用户获取未标注数据的过程十分繁琐，往往需要经过爬虫采集再清洗后才可以使用，且有些场景的数据在互联网上并不是广泛分布的，少见的数据会使爬虫批量采集的效率很低，同时增加用户筛选有效数据的时间，造成整个数据标注流程花费过多的时间成本。以发明专利“数据标注系统”(授权号CN113407980B)为例，当前的数据标注方法均未考虑到未标注数据的获取问题，而数据获取通常需要爬虫采集互联网相关数据并筛选清洗后才能使用，这样的方法往往无法高效获取到互联网没有广泛分布、不易通过分析结构化网页采集的数据，从数据采集到开始标注要花费大量时间。

发明内容

针对上述问题，为了高效完成数据采集和标注生成高质量标注数据，本发明提出一种待标注数据的拾取方法、装置、电子设备和存储介质。本发明适用的数据类型包括文本和图像，面对爬虫不易采集的稀疏分布数据，可以精准完成数据获取和格式校验并同步提交到标注系统，大幅提升标注效率。

为实现上述目的，本发明采用如下技术方案：

一种待标注数据的拾取方法，包括：

获取用户所参与的标注任务；

基于所述标注任务，为所述用户提供用于固定数据的输入格式；

在所述用户正在浏览的页面上，突显所述标注任务下的已采集数据，以得到数据捕获区域；

通过用户行为确定所述用户在所述数据捕获区域中捕获的网页区域和内容；

基于所述输入格式，将所述网页区域和内容传输给数据标注系统。

进一步地，所述获取用户所参与的标注任务之前，还包括：

验证用户的身份。

进一步地，所述基于所述标注任务，为所述用户提供用于固定数据的输入格式，包括：

获取所述标注任务的任务类型；所述任务类型包括：文本分类、命名实体识别、文本生成、图像分类或跨模态文本生成；

在所述任务类型为文本分类的情况下，所述输入格式为一条文本；

在所述任务类型为命名实体识别的情况下，所述输入格式为一条文本；

在所述任务类型为文本生成的情况下，所述输入格式为两条文本；

在所述任务类型为图像分类的情况下，所述输入格式为一张图像；

在所述任务类型为跨模态文本生成的情况下，所述输入格式为两条文本和一张图像；

或，