[发明专利]样本数据的生成方法、装置、设备及存储介质

说明书

本发明涉及数据处理领域，提供了一种样本数据的生成方法、装置、设备及存储介质。所述方法包括：从预定的数据源获取第一文本集和第二文本集，对第一文本集的各文本执行分词操作，提取各文本分词后的关键词并生成关键词集，利用关键词集构建关键词词典，基于关键词词典及第一预设模板生成正样本数据集，根据关键词提取算法确定第二文本集中各文本的预设词性的关键词，将该关键词替换为关键词词典中预设词性的关键词生成负样本数据集，将正样本数据集和负样本数据集反馈至预设终端。本发明可以提升生成样本数据的效率，且样本的语义合理性高。

技术领域

本发明涉及数据处理领域，尤其涉及一种样本数据的生成方法、装置、设备及存储介质。

背景技术

目前在文本情绪识别的模型训练过程中，需要大量语句作为模型的训练数据集，由于特殊领域(例如，房产领域)的样本数据集较少，通常需要人工来进行编写大量的样本数据，耗费大量的人力和时间。采用sequence to sequence的方式获取文本，该方案在学术科研界比较活跃，实际应用中生成的文本的语义并不合理，缺乏一定的实用性。且生成样本的效率较低。

发明内容

鉴于以上内容，本发明提供一种样本数据的生成方法、装置、设备及存储介质，其目的在于解决现有技术中生成文本效率低且生成的文本语义不合理的技术问题。

为实现上述目的，本发明提供一种样本数据的生成方法，该方法包括：

从预定的数据源获取第一文本集和第二文本集，对所述第一文本集的各文本执行分词操作，提取各文本分词后的关键词并生成关键词集；

利用所述关键词集构建关键词词典，基于所述关键词词典及第一预设模板生成正样本数据集；

根据关键词提取算法确定所述第二文本集中各文本的预设词性的关键词，将该关键词替换为所述关键词词典中预设词性的关键词生成负样本数据集，将所述正样本数据集和所述负样本数据集反馈至预设终端。

优选的，所述关键词词典包括领域特征关键词词典和高危情绪关键词词典，所述第一预设模板包括第一预设词及第二预设词，所述基于所述关键词典及第一预设模板生成正样本数据集包括：

将所述第一预设词随机增加领域特征关键词词典的词，并加上所述第二预设词及高危情绪关键词词典的词得到多个正样本数据。

优选的，所述方法还包括：

从所述多个正样本数据中随机选取第一预设比例的正样本数据，对所述预设比例的正样本数据增加预设语气词，并将增加预设语气词后的正样本数据添加至所述正样本数据集。

优选的，在将该关键词替换为所述关键词词典中预设词性的关键词生成负样本数据集之后，所述方法还包括：

对所述负样本数据集的负样本数据过滤脏数据，从过滤脏数据后的负样本数据中选取第二预设比例的负样本数据添加至所述负样本数据集；

基于所述关键词词典及第二预设模板生成负样本数据并添加至所述负样本数据集。

优选的，所述提取各文本分词后的关键词并生成关键词集，包括：

计算各文本的各分词在该文本中的词频，基于所述词频计算出各分词的IDF值及TF值，将各分词的IDF值与各分词对应的TF值相乘得到各分词的TF-IDF值，基于所有分词的TF-IDF值选取预设数量的分词作为关键词并生成关键词集。

为实现上述目的，本发明还提供一种样本数据的生成装置，该样本数据的生成装置包括：

分词模块：用于从预定的数据源获取第一文本集和第二文本集，对所述第一文本集的各文本执行分词操作，提取各文本分词后的关键词并生成关键词集；

第一生成模块：用于利用所述关键词集构建关键词词典，基于所述关键词词典及第一预设模板生成正样本数据集；