[发明专利]语料标注系统及电子设备在审
申请号: | 201910902201.3 | 申请日: | 2019-09-23 |
公开(公告)号: | CN110674638A | 公开(公告)日: | 2020-01-10 |
发明(设计)人: | 于博文;郭慧 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/30 |
代理公司: | 11313 北京市铸成律师事务所 | 代理人: | 包莉莉;武晨燕 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标注 语料 反馈信息 提示信息 响应 人工智能领域 质量检测组件 准确度要求 标注系统 电子设备 启动检测 输入操作 系统架构 相关信息 展示 保存 关联 申请 | ||
本申请公开了语料标注系统及电子设备,涉及人工智能领域。具体包括:辅助标注组件,用于响应于对待标注语料数据进行标注的标注请求,展示辅助标注界面,辅助标注界面至少显示有提示信息,提示信息表征与待标注语料数据相关联的语料数据的标注结果的相关信息;标注组件,用于响应于表征标注结果的输入操作,并在与待标注语料数据的对应位置上展示目标标注结果;质量检测组件,用于响应于对目标标注结果的保存操作,启动检测机制,并获取针对目标标注结果的反馈信息,基于反馈信息确定目标标注结果是否满足准确度要求,以从系统架构层面提供一种语料标注平台,旨在提升语料标注质量。
技术领域
本申请涉及数据处理领域,尤其涉及人工智能领域。
背景技术
近年来,人工智能领域技术快速发展,并逐步进入人们的日常生活。人工智能的基本要求就是机器能够像人一样接受并处理信息,语言作为信息的最主要载体,成为了人工智能领域最前沿的研究方向。语言模型训练的过程中,会需要进行大量的语料标注,用以完善模型质量。但目前,针对语料标注的研究,均是基于自然语言理解辅助的标注方法层面,尚未上升为系统架构层面。
发明内容
本申请实施例提供一种语料标注系统及电子设备,以从系统架构层面提供一种语料标注平台,旨在提升语料标注质量。
本申请实施例提供一种语料标注系统,至少包括:
辅助标注组件,用于响应于对待标注语料数据进行标注的标注请求,展示辅助标注界面,辅助标注界面至少显示有提示信息,提示信息表征与待标注语料数据相关联的语料数据的标注结果的相关信息;
标注组件,用于响应于表征标注结果的输入操作,并在与待标注语料数据的对应位置上展示目标标注结果;
质量检测组件,用于响应于对目标标注结果的保存操作,启动检测机制,并获取针对目标标注结果的反馈信息,基于反馈信息确定目标标注结果是否满足准确度要求。
本申请实施例从系统架构层面提供一种语料标注平台,也即语料标注系统,利用语料标注系统中辅助标注组件的提示信息在标注人员标注前进行提示,这里,由于提示信息中展示有与待标注语料数据相关联的语料数据,以及与待标注语料数据相关联的语料数据的标注结果,所以,便于标注人员参考该提示信息的相关内容,进而为提高标注质量奠定了基础。而且,由于语料标注系统中还设置有质量检测组件,且在对针对待标注语料数据的目标标注结果进行保存后,启动检测机制,并获取针对目标标注结果的反馈信息,进而,能够利用该质量检测组件来检测目标标注结果是否满足要求,所以,进一步为提高标注质量奠定了基础。
在一种实施方式中,标注组件,还用于展示语料数据列表,语料数据列表包含有语料标注结果不满足准确度要求的待标注语料数据。
这里,为避免不必要的标注工作,浪费人力标注资源,仅对利用自动标注方法进行标注后但标注结果不满足准确度要求的语料数据进行标注,即该实施方式中待标注语料数据是利用自动标注方法标注后,但标注结果不满足准确度要求的语料数据,这样,能够避免人力标注资源浪费,同时,还能够利用人力标注的方式来提高标注质量,满足工程化要求,为后续工程化线上服务奠定了基础。
在一种实施方式中,辅助标注组件,还用于:
获取与待标注语料数据相关联的语料数据的历史标注结果,将与待标注语料数据相关联的语料数据及历史标注结果作为提示信息。
这里,该实施方式中,将与待标注语料数据相关联的语料数据,以及与待标注语料数据相关联的语料数据的历史标注结果作为提示信息来进行展示,以便于标注人员参考相关联语料数据的历史标注结果,以辅助完成本次标注操作,为提高标注质量奠定了基础。
在一种实施方式中,辅助标注组件,还用于:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910902201.3/2.html,转载请声明来源钻瓜专利网。