[发明专利]训练数据的挖掘方法、装置、电子设备及存储介质

说明书

本申请公开了一种训练数据的挖掘方法、装置、电子设备及存储介质，涉及基于人工智能的自然语言处理技术领域。具体实现方案为：采集数条作为原始数据的无监督文本，构成原始数据集；获取预配置的数据筛选规则集合，该数据筛选规则集合中包括数条预先配置的数据筛选规则；根据数据筛选规则集合中的各数据筛选规则，从原始数据集中挖掘数条训练数据，构成训练数据集。与现有技术的人工标注训练数据相比，本申请可以自动地、智能化地挖掘到训练数据，而不需要人工标注训练数据，能够有效地节省训练数据的获取成本，提高训练数据的获取效率。

技术领域

本申请涉及计算机技术领域，尤其涉及基于人工智能的自然语言处理技术领域，具体涉及一种训练数据的挖掘方法、装置、电子设备及存储介质。

背景技术

近年来，以基于Transformer的双向编码器表示(Bidirectional EncoderRepresentation from Transformers；BERT)模型为代表的预训练模型提出了“预训练(Pre-training)+精调(Fine-tuning)”两阶段的训练范式，来训练模型，大幅提升了各类自然语言处理(Natural Language Processing；NLP)任务的效果。BERT模型采用深层Transformer模型结构，使用海量无监督文本学习上下文相关表示，并使用通用统一的方式解决各类NLP任务如文本匹配、文本生成、情感分类、文本摘要、问答以及检索等。

其中，Pre-training指的是利用海量的无标注文本作为训练数据，构造自监督的学习任务，如完形填空，句子排序等。Fine-tuning指的是了利用少量的有人工标注的任务文本作为训练数据，进行任务的适配，得到一个具体的自然语言处理任务模型。

现有的Fine-tuning阶段的训练过程中，使用的都是人工标注的训练数据。但是，人工标注的训练数据成本昂贵，往往需要经验丰富的技术专家才能够标注，导致现有的Fine-tuning阶段的人工标注的训练数据获取成本较高，获取效率非常低。

发明内容

为了解决上述技术问题，本申请提供了一种训练数据的挖掘方法、装置、电子设备及存储介质。

根据本申请的一方面，提供了一种训练数据的挖掘方法，其中，所述方法包括：

采集数条作为原始数据的无监督文本，构成原始数据集；

获取预配置的数据筛选规则集合，所述数据筛选规则集合中包括数条预先配置的数据筛选规则；

根据所述数据筛选规则集合中的各所述数据筛选规则，从所述原始数据集中挖掘数条训练数据，构成训练数据集。

根据本申请的另一方面，提供了一种训练数据的挖掘装置，其中，所述装置包括：

采集模块，用于采集数条作为原始数据的无监督文本，构成原始数据集；

获取模块，用于获取预配置的数据筛选规则集合，所述数据筛选规则集合中包括数条预先配置的数据筛选规则；

挖掘模块，用于根据所述数据筛选规则集合中的各所述数据筛选规则，从所述原始数据集中挖掘数条训练数据，构成训练数据集。

根据本申请的再一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。