[发明专利]文本检测方法及装置

说明书

本申请的实施例提供了一种文本检测方法及装置。该文本检测方法包括：获取多个第一文本以及多个第二文本，第一文本为标注有标签的文本，第二文本为未标注标签的敏感文本；基于各个第一文本标注的标签，提取各个第一文本对应的标签特征向量，并根据标签特征向量确定多个第一文本中的敏感文本；根据确定出的敏感文本和多个第二文本，生成敏感参考文本集合，并检测敏感参考文本集合中的各个文本与待检测文本之间的相似性，得到多个检测结果；若根据多个检测结果判定出敏感参考文本集合中存在与待检测文本之间的相似性满足相似条件的文本，则确定待检测文本为敏感文本。本申请实施例的技术方案提高了敏感文本检测的准确度和精度。

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种文本检测方法及装置。

背景技术

随着企业数字化转型的发展，越来越多的企业开始将各种数据文件转移到线上，实现电子化办公，但随之而来的是对敏感数据的检测和防泄漏技术的要求也逐步提高。然而，目前的敏感文本检测技术检测准确率低，容易出现漏报、误报等诸多问题。

发明内容

本申请的实施例提供了一种文本检测方法及装置，进而至少在一定程度上能够提高敏感文本检测的准确度和精度。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种文本检测方法，包括：获取多个第一文本以及多个第二文本，所述第一文本为标注有标签的文本，所述第二文本为未标注标签的敏感文本；基于各个第一文本标注的标签，提取所述各个第一文本对应的标签特征向量，并根据所述标签特征向量确定所述多个第一文本中的敏感文本；根据确定出的敏感文本和所述多个第二文本，生成敏感参考文本集合，并检测所述敏感参考文本集合中的各个文本与待检测文本之间的相似性，得到多个检测结果；若根据所述多个检测结果判定出所述敏感参考文本集合中存在与所述待检测文本之间的相似性满足相似条件的文本，则确定所述待检测文本为敏感文本。

根据本申请实施例的一个方面，提供了一种文本检测装置，包括：获取单元，配置为获取多个第一文本以及多个第二文本，所述第一文本为标注有标签的文本，所述第二文本为未标注标签的敏感文本；第一确定单元，配置为基于各个第一文本标注的标签，提取所述各个第一文本对应的标签特征向量，并根据所述标签特征向量确定所述多个第一文本中的敏感文本；检测单元，配置为根据确定出的敏感文本和所述多个第二文本，生成敏感参考文本集合，并检测所述敏感参考文本集合中的各个文本与待检测文本之间的相似性，得到多个检测结果；第二确定单元，配置为若根据所述多个检测结果判定出所述敏感参考文本集合中存在与所述待检测文本之间的相似性满足相似条件的文本，则确定所述待检测文本为敏感文本。

在本申请的一些实施例中，基于前述方案，所述第一确定单元包括：输入子单元，配置为将所述各个第一文本对应的标签特征值输入已训练的文本分类模型，得到所述文本分类模型输出的所述各个第一文本对应的敏感概率，所述敏感概率为所述第一文本为敏感文本的概率，所述文本分类模型是基于多个标注有标签的训练文本和各个训练文本对应的文本类别训练得到的，所述文本类别包括敏感文本和非敏感文本；确定子单元，配置为根据所述各个第一文本对应的敏感概率，确定所述多个第一文本中的敏感文本。

在本申请的一些实施例中，基于前述方案，所述确定子单元配置为：将所述多个第一文本中敏感概率大于第一预设阈值的第一文本，作为所述多个第一文本中的敏感文本。

在本申请的一些实施例中，基于前述方案，所述检测单元配置为：根据所述敏感参考文本集合中的各个文本对应的第一哈希签名值以及所述待检测文本对应的第二哈希签名值，确定所述敏感参考文本集合中的各个文本与所述待检测文本之间的海明距离；所述第二确定单元配置为：若根据多个海明距离判定出所述敏感参考文本集合中存在与所述待检测文本之间的海明距离小于或等于第二预设阈值的文本，则确定所述待检测文本为敏感文本。