[发明专利]一种数据标注的方法、系统、设备及可读存储介质在审

专利信息
申请号: 202110342499.4 申请日: 2021-03-30
公开(公告)号: CN112906349A 公开(公告)日: 2021-06-04
发明(设计)人: 李正华;周明月;龚晨;张民 申请(专利权)人: 苏州大学
主分类号: G06F40/117 分类号: G06F40/117;G06F40/14;G06F40/211;G06F40/279;G06F40/30;G06N20/00
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 王晓坤
地址: 215131 *** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 标注 方法 系统 设备 可读 存储 介质
【说明书】:

本申请公开了一种数据标注的方法,包括:根据输入的数据标注任务确定待标注数据;调用数据标注模型对待标注数据进行数据标注,得到对应的数据标注结果;判断数据标注结果与输入的人工标注结果是否一致;若一致,则确认数据标注结果正确。相较于人标人校和机标人校的方式,本申请可以从根本上解决标注者的认同倾向问题,充分挖掘对问题的理解差异,促进标注指南的完善、标注者水平的提高;本申请通过结合机器自动标注的辅助,相较于多人独立标注的方法可以有效减少标注的时间成本和金钱成本,在保证数据标注质量的同时极大的降低了成本。本申请同时还提供了一种数据标注的系统、设备及可读存储介质,具有上述有益效果。

技术领域

本申请涉及计算机数据处理领域,特别涉及一种数据标注的方法、系统、设备及可读存储介质。

背景技术

数据标注是指人在数据上标注一些额外的信息,这些信息体现了更多的关于数据的知识,从而对人和计算机处理提供便利。高质量的标注数据能有效挖掘数据信息,促进相关学科的技术进步。目前常见的数据标注方法有人标人校、机标人校和多人独立标注。这些标注方法在数据标注的两大重要考虑因素——质量和成本上各有千秋。

人标人校全人工进行,不仅成本较高,且存在校对者的认同倾向问题。机标人校标注速度相对快、成本低,但仍然存在标注者的认同倾向问题且整体质量较低。多人独立标注虽然可以从根源上解决认同倾向问题并有效提高质量,但其标注成本和审核成本很高,若去掉审核过程,则得到一个存在许多噪声的多标注数据,若不进一步消除不一致性,其利用价值较低。

因此,如何在保证数据标注质量的同时降低成本是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据标注的方法、系统、设备及可读存储介质,用于在保证数据标注质量的同时降低成本。

为解决上述技术问题,本申请提供一种数据标注的方法,该方法包括:

根据输入的数据标注任务确定待标注数据;

调用数据标注模型对所述待标注数据进行数据标注,得到对应的数据标注结果;

判断所述数据标注结果与输入的人工标注结果是否一致;

若一致,则确认所述数据标注结果正确。

可选的,还包括:

若所述数据标注结果与所述输入的人工标注结果不一致,则将所述待标注数据标记为待审核数据;

输出所述待审核数据,以使审核人员对所述待审核数据进行人工审核。

可选的,还包括:

若所述数据标注结果与所述输入的人工标注结果不一致,则将所述待标注数据标记为待投票数据;

调用预设数目的投票模型对所述待投票数据的数据标注结果与人工标注结果进行投票,得到对应的投票结果;

确定得票最多的标注结果为所述待审核数据的最终数据标注结果。

可选的,所述数据标注模型包括句法标注模型,所述调用数据标注模型对所述待标注数据进行数据标注,得到对应的数据标注结果,包括:

调用所述句法标注模型确定所述待标注数据内部词语之间的关系;

根据所述待标注数据内部词语之间的关系将所述待标注数据标注为对应的依存句法树。

可选的,所述数据标注模型包括语义标注模型,所述调用数据标注模型对所述待标注数据进行数据标注,得到对应的数据标注结果,包括:

对所述待标注数据进行分词处理,得到至少一个词语;

调用所述语义标注模型依据词义数据库对所述词语进行语义标注,得到对应的语义标注结果。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州大学,未经苏州大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110342499.4/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top