[发明专利]样本信息标注方法、装置、设备、程序以及存储介质

说明书

本发明提供了一种样本信息标注方法、装置、电子设备，相关实施例可应用于云技术、云安全、智慧交通等各种场景，方法包括：在数据源中获取正例样本信息，并对所述正例样本信息进行标注，得到标注正例样本信息；在所述数据源中获取负例样本信息；获取所述正例样本信息和所述负例样本信息所分别对应的静态统计特征集合；确定所述样本信息标注模型的模型参数；通过所述样本信息标注模型，对所述数据源中的样本信息进行标注处理，得到经过标注的样本信息；由此，节省了人力成本，减少了确定待处理文本所属的相关性的质量对人工标注的质量的依赖性。

技术领域

本发明涉及信息处理技术，尤其涉及样本信息标注方法、装置、电子设备、计算机程序产品以及存储介质，使得本方案可应用的领域包括但不限于自动驾驶、车联网、智慧交通等领域。

背景技术

人工智能(AI，Artificial Intelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

相关技术中，预训练的语言模型在机器阅读理解任务上取得了突破性进展。其核心思想是在大规模无监督文本语料上预训练语言模型，得到文本的语义表示。这些语义表示可以进一步以特征或微调的方式应用于包括机器阅读理解在内的一系列自然语言理解任务，而这一理解过程需要基于文本的相关性标注；文本相关性标注，是指将文本标注为一个相关性体系中的一个或多个相关性。文本相关性标注在广告、推荐、搜索等大量业务场景中有着广泛的应用。确定文本所属的相关性是文本相关性标注中的重要环节。传统的文本相关性的确定方式中，先由人工标注若干文本所属的相关性，得到训练样本，再根据训练样本对神经网络等机器学习模型进行训练得到映射模型，进而将待处理文本输入至映射模型中，通过映射模型确定待处理文本的相关性。然而，人工标注得到训练样本的过程，耗费了大量的人力。并且，映射模型是根据人工标注的训练样本训练得到，因此确定待处理文本所属的相关性的质量对人工标注的质量具有严重的依赖性。

发明内容

有鉴于此，本发明实施例提供一种样本信息标注方法、装置、电子设备、软件程序以及存储介质，能够通过机器学习技术确定任一样本信息的相关性，对样本信息的相关性进行标注，而且节省了传统方式中人工标注相关性的环节，节省了人力成本，减少了确定待处理文本所属的相关性的质量对人工标注的质量的依赖性，提升文本相关性标注的准确性，提升用户的使用体验。

本发明实施例提供了一种样本信息标注方法，所述方法包括：

在数据源中获取正例样本信息，并对所述正例样本信息进行标注，得到标注正例样本信息；

在所述数据源中获取负例样本信息；

获取所述正例样本信息和所述负例样本信息所分别对应的静态统计特征集合；

基于所述标注正例样本信息、所述负例样本信息以及所述静态统计特征集合对样本信息标注模型进行训练，确定所述样本信息标注模型的模型参数；

通过所述样本信息标注模型，对所述数据源中的样本信息进行标注处理，得到经过标注的样本信息。

本发明实施例还提供了一种样本信息标注装置，所述装置包括：

信息传输模块，用于在数据源中获取正例样本信息，并对所述正例样本信息进行标注，得到标注正例样本信息；

信息处理模块，用于在所述数据源中获取负例样本信息；

所述信息处理模块，用于获取所述正例样本信息和所述负例样本信息所分别对应的静态统计特征集合；

所述信息处理模块，用于基于所述标注正例样本信息、所述负例样本信息以及所述静态统计特征集合对样本信息标注模型进行训练，确定所述样本信息标注模型的模型参数；