[发明专利]数据处理方法、装置、电子设备以及存储介质

说明书

本公开提供了一种数据处理方法、装置、电子设备以及存储介质，本公开涉及计算机技术领域，尤其涉及人工智能、数据挖掘及机器学习领域。实现方案为：获取用于建模的样本数据集；将第一数量的特征维度划分为多个类别；分别从多个类别的每个类别中选择多个特征维度，以获取第二数量的特征维度；以及对样本数据集的每个样本数据进行降维处理，包括：删除第二数量的特征维度之外的特征维度；以及对于第二数量的特征维度中的特征值为正值的每一个特征维度，使用与该特征维度相对应的语义向量替换该特征维度的特征值。

技术领域

本公开涉及计算机技术领域，尤其涉及人工智能、数据挖掘及机器学习领域，具体涉及一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能，主要分为有监督学习、无监督学习及强化学习等。其中，在进行有监督学习时，存在一些基于结构化高维稀疏的样本数据集进行建模的场景。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种数据处理方法，包括：获取用于建模的样本数据集，其中，样本数据集中的每一个样本数据是高维稀疏数据并且包括第一数量的特征维度；将第一数量的特征维度划分为多个类别；分别从多个类别的每个类别中选择多个特征维度，以获取第二数量的特征维度；以及对样本数据集的每个样本数据进行降维处理，降维处理包括：删除第二数量的特征维度之外的特征维度；以及对于第二数量的特征维度中的特征值为正值的每一个特征维度，使用与该特征维度相对应的语义向量替换该特征维度的特征值，其中，语义向量是经过无监督训练获得的。

根据本公开的另一方面，提供了一种模型训练方法，包括：获取样本数据集，其中，样本数据集中的每个样本数据基于上述数据处理方法获得并且包括相应的样本标签；初始化模型的多个参数，以及对于每个样本数据，执行下述操作：将样本数据输入模型，以获取模型计算结果；以及基于模型计算结果和该样本数据相应的样本标签，调整模型的多个参数。

根据本公开的另一方面，提供了一种数据处理装置，包括：第一获取单元，被配置为获取用于建模的样本数据集，其中，样本数据集中的每一个样本数据是高维稀疏数据并且包括第一数量的特征维度；划分单元，被配置为将第一数量的特征维度划分为多个类别；第二获取单元，被配置为分别从多个类别的每个类别中选择多个特征维度，以获取第二数量的特征维度；以及降维处理单元，被配置为对样本数据集的每个样本数据进行降维处理，降维处理单元包括：删除子单元，被配置为删除第二数量的特征维度之外的特征维度；以及替换子单元，被配置为对于第二数量的特征维度中的特征值为正值的每一个特征维度，使用与该特征维度相对应的语义向量替换该特征维度的特征值，其中，语义向量是经过无监督训练获得的。

根据本公开的另一方面，提供了一种模型训练装置，包括：第三获取单元，被配置为获取样本数据集，其中，所述样本数据集中的每个样本数据基于上述数据处理方法获得并且包括相应的样本标签；初始化单元，被配置为初始化所述模型的多个参数，以及执行单元，被配置为对于每个样本数据，执行下述子单元的操作，所述执行单元包括：输入子单元，被配置为将所述样本数据输入所述模型，以获取模型计算结果；以及调整子单元，被配置为基于所述模型计算结果和该样本数据相应的样本标签，调整所述模型的多个参数。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，这些指令被至少一个处理器执行，以使至少一个处理器能够执行上述数据处理方法或模型训练方法。