[发明专利]描述数据标注任务的DSL应用系统及其方法

说明书

本发明公开了一种描述数据标注任务的DSL应用系统及其方法，该DSL应用系统包括：发布服务模块，标注服务模块和导出服务模块；所述发布服务模块用于接受任务发布者的DSL信息、根据DSL信息创建对应的任务实例；所述标注服务模块连接发布服务模块，用于对发布服务模块创建的任务实例进行标注、取得标注结果；所述导出服务模块连接标注服务模块，用于收集任务的标注结果、对标注数据进行加工、输出任务结果数据。本发明能够提升标注任务启动效率，并提升系统的可扩展性。

技术领域

本发明属于数据处理技术领域，具体来说涉及一种描述数据标注任务的DSL应用系统，以及基于该系统实现的数据标注任务描述方法。

背景技术

数据标注是指对文本、图片、语音等数据进行描述或者标记的过程，机器进行训练通常需要大量的标注数据作为训练集，标注数据的数据量越大对训练的效果越有帮助。目前业界一般采用JSON、XML等通用的结构化数据格式来表征任务属性。上述现有技术存在的问题是：启动效率较低，系统可扩展性较差。同时根据调研，目前尚未发现同类型描述数据标注任务的DSL。DSL是一种在Java虚拟机上运行的静态类型编程语言。DSL首先是一种帮助用户从一个系统中抽象出某些部分的工具。所以“当你意识到你需要一个组件，或者当你已经有了一个组件而你希望简化操作它的方式的时候”，DSL是有用的。使用DSL确实提供了某些益处。DSL不仅提高了代码的易读性，让开发者可以和领域专家更好的交流，而且是改变执行上下文的一种手段，例如：把逻辑从编译时切换到运行时，或者当命令式编程不是很合适的时候转用声明式计算模型。外部DSL：不同于应用系统主要使用语言的语言，通常采用自定义语法，宿主应用的代码采用文本解析技术对外部DSL编写的脚本进行解析。例子如：正则表达式、SQL、AWK以及Struts的配置文件等。内部DSL：通用语言的特定语法，用内部DSL写成的脚本是一段合法的程序，但是它具有特定的风格，而且仅仅用到了语言的一部分特性，用于处理整个系统一个小方面的问题。如何开发出一种基于DSL的描述数据标注任务的应用系统，能够提升标注任务启动效率，并提升系统的可扩展性，是本领域技术人员需要研究的方向。

发明内容

本发明要解决的技术问题是提供一种描述数据标注任务的DSL应用系统，能够提升标注任务启动效率，并提升系统的可扩展性。为此，本发明还提供基于该系统实现的数据标注任务描述方法。

为解决上述技术问题，本发明采用的技术方案如下：

一种描述数据标注任务的DSL应用系统，其包括：发布服务模块，标注服务模块和导出服务模块；所述发布服务模块用于接受任务发布者的DSL信息、根据DSL信息创建对应的任务实例；所述标注服务模块连接发布服务模块，用于对发布服务模块创建的任务实例进行标注、取得标注结果；所述导出服务模块连接标注服务模块，用于收集任务的标注结果、对标注数据进行加工、输出任务结果数据。

优选的是，上述描述数据标注任务的DSL应用系统中：所述发布任务模块包括发布任务接口，DSL解析器，任务校验单元和第一安全沙盒；所述发布任务接口用于接受任务发布者的DSL信息；所述DSL解析器连接发布任务接口、用于对接收到的DSL信息进行解析，生成任务实例；所述任务校验单元连接DSL解析器、用于对DSL解析器生成的任务实例进行验证；所述第一安全沙盒连接任务校验单元、用于对通过验证的任务实例执行预处理、并按照DSL中定义的时机创建对应的任务实例。

更优选的是，上述描述数据标注任务的DSL应用系统中：所述标注服务模块包括数据标注单元，所述数据标注单元用于对发布任务模块创建的任务实例进行标注。

进一步优选的是，上述描述数据标注任务的DSL应用系统中：所述导出服务模块包括任务数据收集模块，第二安全沙盒，任务数据导出模块和结果导出接口；所述任务数据收集模块用于收集各任务实例的标注数据；所述第二安全沙盒连接任务数据收集模块、用于对标注数据执行DSL定义的后处理加工、取得任务结果数据；所述任务数据导出模块连接第二安全沙盒和结果导出接口、用于将任务结果数据调出至结果导出接口。