[发明专利]数据的标注方法、装置和可读存储介质

说明书

本发明提供了一种数据的标注方法、装置和可读存储介质。数据的标注方法，用于客户端侧，包括：发出创建数据集请求至数据服务；上传文件至对象存储服务；基于文件和标注信息上传至对象存储服务后，发出数据验证请求至数据服务。本发明的技术方案中，文件的上传过程不涉及代码，可以采用图形化、向导式的形式，简化操作过程，用户无需掌握其他知识，实现低门槛，基于固定流程的向导式交互，针对起步晚，基础差的传统行业用户，更为简洁和友好，更好的提升了用户体验。

技术领域

本发明涉及数据标注技术领域，具体而言，涉及一种数据的标注方法、装置和可读存储介质。

背景技术

数据标注是对未处理的初级数据，包括语音、图片、文本、视频等进行加工处理，并转换为机器可识别信息的过程。原始数据一般通过数据采集获得，随后的数据标注相当于对数据进行加工，然后输送到人工智能算法和模型里完成调用。

当前人工智能数据集标注，存在以下问题：

(1)标注格式不统一，使用时需要格式转换，需要一定的代码量和手动工作量，标注策略框架、标签模板复用过程繁琐。

(2)数据标注、训练和模型验证过程分离，无法做到自动化。

(3)在大数据量数据集场景下，数据标注和模型训练的性能不佳。

(4)非结构化数据如何存储，以及性能问题。

发明内容

本发明旨在解决或改善上述技术问题的至少之一。

为此，本发明的第一目的在于提供一种数据的标注方法。

本发明的第二目的在于提供一种数据的标注方法。

本发明的第三目的在于提供一种数据的标注方法。

本发明的第四目的在于提供一种数据的标注方法。

本发明的第五目的在于提供一种数据的标注装置。

本发明的第六目的在于提供一种可读存储介质。

为实现本发明的第一目的，本发明的技术方案提供了一种数据的标注方法，用于客户端侧，包括：发出创建数据集请求至数据服务；上传文件至对象存储服务；基于文件和标注信息上传至对象存储服务后，发出数据验证请求至数据服务。

本实施例中，文件的上传过程不涉及代码，可以采用图形化、向导式的形式，简化操作过程，用户无需掌握其他知识，实现低门槛，基于固定流程的向导式交互，针对起步晚，基础差的传统行业用户，更为简洁和友好，更好的提升了用户体验。

另外，本发明提供的技术方案还可以具有如下附加技术特征：

上述技术方案中，上传文件至对象存储服务，具体包括：选择上传文件夹，向数据服务批量请求上传预签名链接后，上传文件至对象存储服务。

本实施中，首先选择上传文件夹，然后向数据服务批量请求上传预签名链接后，再上传文件至对象存储服务，通过预签名链接，可以更好的校验身份，保证数据的安全，满足多租户场景下数据的安全性的需求。

上述任一技术方案中，数据的标注方法还包括：向数据服务批量请求数据集标注信息和文件下载预签名链接；接收数据服务返回的下载链接；根据下载链接，并行下载文件；基于文件和标注信息，分批次对模型进行训练。

本实施例中，在获取到文件和标注信息，可以直接分批次对模型进行训练，数据标注与模型训练无缝集成，实现一体化的数据标注、训练和模型验证。