[发明专利]一种语料库生成和调用方法及装置

说明书

本申请实施例提供的一种语料库生成和调用方法及装置，属于计算机技术领域。该方法包括从待处理信息库中确定初始语料，生成初始语料向量，并确定所述初始语料向量的向量类型；根据所述向量类型和所述初始语料向量，生成第一子语料；采用预设算法对所述待处理信息库中的文本进行分类，并对得到的分类集合中的文本进行筛选，生成第二子语料；基于所述第一子语料和所述第二子语料生成目标语料库。本申请利用机器人来自动实现目标语料库的建立，以及生成可靠的目标语料库，使得降低人力成本的同时，提高目标语料库的精准，进而提升用户与机器人的交互体验。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种语料库生成和调用方法及装置。

背景技术

目前随着信息化的快速发展，人工智能领域取得了突飞猛进的进步。例如机器人等取得了更明显的进步。为了使得机器人能够适应不同场景以及面对不同类型的用户，机器人里面都会配置语料库，以便于通过该语料库与用户实现交互。

然而，目前的语料库构建都是采用人工标注构建语料库的方法，这需要花费大量的时间和人力，且构建的语料库中的语料精准度明显不够，很容易导致机器人与用户之间的交互出现混乱。

发明内容

本申请提供一种语料库生成和调用方法及装置，旨在改善上述问题。

第一方面，本申请提供的一种语料库生成和调用方法，所述方法包括：从待处理信息库中确定初始语料，生成初始语料向量，并确定所述初始语料向量的向量类型；其中，所述初始语料为所述待处理信息库中评分大于第一阈值的语料；根据所述向量类型和所述初始语料向量，生成第一子语料；采用预设算法对所述待处理信息库中的文本进行分类，并对得到的分类集合中的文本进行筛选，生成第二子语料；其中，所述第二子语料中包括至少一个语料；基于所述第一子语料和所述第二子语料生成目标语料库。

可选地，所述从待处理信息库中确定初始语料，生成初始语料向量，包括：基于预设路径以及访问权限访问待处理信息库，并从所述待处理信息库中确定出初始语料；计算出所述初始语料的分词结果；对所述分词结果进行分析，得到所述分词结果中每一分词对应的词向量；将分词结果中每一分词对应的词向量进行相乘，生成初始语料向量。

在上述实现过程中，通过先利用预设路径以及访问权限来访问待处理信息库，可以使得访问更加安全，确保了待处理信息库的安全，另外还可以避免非法访问，节约了待处理信息库的资源开销；在访问成功后再从该待处理信息库中确定出初始语料；并计算出该初始语料的分词结果；然后对该分词结果进行分析，以得到该分词结果中每一分词对应的词向量；最后通过将分词结果中每一分词对应的词向量进行相乘，以生成初始语料向量，从而可以使得所生成的初始语料向量较为靠近目标语料，以提高语料生成的准确性。

可选地，所述计算出所述初始语料的分词结果，包括：确定所述初始语料是否为全中文；若是，按照语义将所述初始语料进行词分割，得到分词结果；若所述初始语料包括中文和英文，将所述初始语料中的中文语料与英文语料进行分割；对所述中文语料按照中文语义进行切割，以及通过英文语义对所述英文语料进行切割，得到分词结果；若所述初始语料为全英文，通过英文语义对所述英文语料进行切割，得到分词结果；若所述初始语料为数字，确定所述初始语料是否为特定字符串；若是，按照所述特定字符串的定义对所述初始语料进行切割，得到分词结果；若所述初始语料为非特定字符串，将所述初始语料作为分词结果；或，若所述初始语料为非特定字符串，按照预设规则将所述初始语料进行切割，得到分词结果。