[发明专利]语料标注方法及装置

说明书

本申请公开了一种语料标注方法及装置。该方法包括提取第一语料中的实体，并根据预设命名实体规则标注所述实体；根据语义确定所述第一语料中的关键词，并根据预设语义关键词规则标注所述关键词；根据所述实体和所述关键词，将所述第一语料抽象为模板，并根据预设语句拓展模板规则标注所述模板；将经过标注后的所述实体、所述关键词、所述模板入库。本申请解决语料标注处理效果不佳的技术问题。通过本申请可以实现对语料有效标注。此外，本申请适用于自然语言处理场景中。

技术领域

本申请涉及语料处理领域，具体而言，涉及一种语料标注方法及装置。

背景技术

自然语言处理中需要提供训练语言模型所需要的语料。语料标注是语料准备的重要过程之一。

发明人发现，现有语料标注缺乏系统标注方法。进一步，影响之后的自然语言处理结果

针对相关技术中语料标注处理效果不佳的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种语料标注方法及系统，以解决语料标注处理效果不佳的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种语料标注方法。

根据本申请的语料标注方法包括：提取第一语料中的实体，并根据预设命名实体规则标注所述实体；根据语义确定所述第一语料中的关键词，并根据预设语义关键词规则标注所述关键词；根据所述实体和所述关键词，将所述第一语料抽象为模板，并根据预设语句拓展模板规则标注所述模板；将经过标注后的所述实体、所述关键词、所述模板入库。

进一步地，方法还包括：对所述第一语料中数据类别进行标注的步骤，所述对所述第一语料中数据类别的标注步骤包括：按照百科类数据类别和闲聊类数据类别划分所述数据类别；判断所述第一语料中的数据是否属于预设百科类数据类别，如果是则按照预设百科类数据对所述第一语料中的数据进行标注；判断所述第一语料中的数据是否属于预设闲聊类数据类别，如果是则按照预设闲聊类数据对所述第一语料中的数据进行标注。

进一步地，方法还包括：对所述第一语料中词级别进行标注的步骤，所述对所述第一语料中词级别进行标注的步骤包括：在所述第一语料中提取出最小单元为词级别的词语；根据不同预设词级别规则，标注出所述第一语料中的词语。

进一步地，方法还包括：对所述第一语料中句级别进行标注的步骤，所述第一语料中句级别进行标注的步骤包括：在所述第一语料中提取出最小单元为句级别的句子；根据不同预设句级别规则，标注出所述第一语料中的词语。

进一步地，根据所述实体和所述关键词，将所述第一语料抽象为模板，并根据预设语句拓展模板规则标注所述模板包括根据所述实体和所述关键词抽象出第一句式，对所述第一句式进行扩展并确定主题或主语后得到所述模块，根据预设语句拓展模板规则标注所述模板。

进一步地，方法还包括：对所述第一语料中相似语义进行标注的步骤，所述第一语料中相似语义进行标注的步骤包括：判断第一语料中的第一句子和第二句子是否相似，如果相似，则采用不同的标注；如果不相似，则采用相同的标注。

本申请的另一方面，提供了一种语料标注装置。

根据本申请的语料标注装置包括：第一提取模块，用于提取第一语料中的实体，并根据预设命名实体规则标注所述实体；第二提取模块，用于根据语义确定所述第一语料中的关键词，并根据预设语义关键词规则标注所述关键词；第三提取模块，用于根据所述实体和所述关键词，将所述第一语料抽象为模板，并根据预设语句拓展模板规则标注所述模板；入库模块，用于将经过标注后的所述实体、所述关键词、所述模板入库。