[发明专利]语料标注方法、装置及设备

说明书

本申请公开了一种语料标注方法、装置及设备，涉及人工智能技术领域，能够批量化生成不同违规类型的文本语料，节省语料标注时间。其中方法包括：对不同业务场景下文本数据进行断句处理，将断句处理后形成的文本语料保存至语料数据库；以语义点为单位将预先设置的标准违规描述划分至不同违规类别；根据所述语义点包含的实体概念以及实体概念之间的逻辑关系，建立关键词语义规则，所述关键词语义规则为针对标准违规描述在不同违规类别上映射的违规表达式；利用所述违规表达式从所述语料数据库中匹配出包含有不同违规类别的目标文本语料，并基于违规类别对所述目标文本语料进行标注。

技术领域

本申请涉及人工智能技术领域，尤其是涉及到一种语料标注方法、装置及设备。

背景技术

为了促进企业销售、开拓市场和提高客户满意度，企业通常广泛使用客服中心来触达客户，该过程会产生庞大的通话记录和聊天记录，以对客服质量进行监控，主要针对客服是否使用违规用语进行识别，例如，检测客服人员是否使用规范用语，检测客服人员是否推广规定产品。

传统的人工质检效率低下，劳动重复性大，目前借助人工智能技术，使用自然语言处理技术进行预训练识别模型，可以辅助识别违规用语，大幅提高识别效率。但是，在使用自然语言处理技术过程中需要使用大量语料训练识别模型，尤其是越复杂的语义所需要的语料越多，而在实际应用场景中，大量语料的标注过程需要耗费众多人力成本，提高了技术成本，甚至很多复杂业务场景很难提供足额语料，使得识别模型训练结果不达标，导致模型针对违规用语的识别效果无法达到理论上的准确率。

发明内容

有鉴于此，本申请提供了一种语料标注方法、装置及设备，主要目的在于解决现有技术中语料标注过程人力成本高以及复杂场景下语料不足的问题。

根据本申请的第一个方面，提供了一种语料标注方法，该方法包括：

对不同业务场景下文本数据进行断句处理，将断句处理后形成的文本语料保存至语料数据库；

以语义点为单位将预先设置的标准违规描述划分至不同违规类别；

根据所述语义点包含的实体概念以及实体概念之间的逻辑关系，建立关键词语义规则，所述关键词语义规则为针对标准违规描述在不同违规类别上映射的违规表达式；

利用所述违规表达式从所述语料数据库中匹配出包含有不同违规类别的目标文本语料，并基于违规类别对所述目标文本语料进行标注。

进一步地，所述对不同业务场景下文本数据进行断句处理，具体包括：

按照文本数据中交互发起的时间顺序，将不同业务场景下的文本数据以句子为单位进行拆分，获取交互发起方对应的文本语料；

根据所述交互发起方对应的文本语料映射的文本长度，对所述文本语料进行拆分和/或合并处理。

进一步地，所述根据所述交互发起方对应的文本语料映射的文本长度，对所述文本语料进行拆分和/或合并处理，具体包括：

将所述交互发起方对应的文本语料映射的文本长度与预设文本长度范围进行比对；

针对所述文本长度大于预设文本长度范围中最大值的文本语料，对所述文本语料进行拆分处理；

针对所述文本长度小于预设文本长度范围中最小值的文本语料，对所述文本语料进行合并处理。

进一步地，所述语义点为包含至少一个实体概念的单句或者复句，所述以语义点为单位将预先设置的标准违规描述划分至不同违规类别，具体包括：

以语义点为单位，从预先设置的标准违规描述中提取包含至少一个实体概念的单句或者复句；

计算所述包含至少一个实体概念的单句或者复句映射在不同违规类别上的违规特征度；