[发明专利]特征提取方法、装置、存储介质及电子设备

说明书

本公开涉及一种特征提取方法、装置、存储介质及电子设备，以捕捉查询向量之间更细粒度的特征关联信息，减少近似误差，得到更能表征数据语义的高层特征信息。该方法包括：确定待提取特征的目标数据，基于目标数据确定多个查询向量、多个键向量和多个值向量；确定每一查询向量对应的多个键值对信息，每一键值对信息是基于多个键向量、多个值向量和一数据样本确定的，其中用于确定多个键值对信息的多个数据样本是基于多个概率分布进行采样得到的，多个概率分布基于多个查询向量确定；针对每一查询向量，基于查询向量和多个数据样本进行随机映射，得到多个随机查询向量，基于多个随机查询向量和多个键值对信息，确定查询向量对应的特征信息。

技术领域

本公开涉及数据处理技术领域，具体地，涉及一种特征提取方法、装置、存储介质及电子设备。

背景技术

随着计算机技术的不断发展，神经网络模型可以通过自注意力机制(self-attention mechanism)对输入序列中任意两个元素之间的关系建模，从而捕捉输入序列中长距离元素之间的依赖关系。相关技术中存在多种注意力机制，其中随机特征注意力机制(Random Feature Attention，RFA)可以将传统自注意力机制中计算相似度的函数线性化，以提高计算效率。但是，此种随机特征注意力机制是一种有偏估计，具有较大的近似误差，从而会影响模型输出结果的准确性。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种特征提取方法，所述方法包括：

确定待提取特征的目标数据，并基于所述目标数据确定多个查询向量、多个键向量和多个值向量；

确定每一所述查询向量对应的多个键值对信息，每一所述键值对信息是基于所述多个键向量、所述多个值向量和一数据样本确定的，其中用于确定所述多个键值对信息的多个所述数据样本是基于多个概率分布进行采样得到的，且所述多个概率分布基于所述多个查询向量确定；

针对每一所述查询向量，基于所述查询向量和所述多个数据样本进行随机映射，得到多个随机查询向量，并基于所述多个随机查询向量和所述多个键值对信息，确定所述查询向量对应的特征信息。

第二方面，本公开提供一种特征提取装置，所述装置包括：

第一确定模块，用于确定待提取特征的目标数据，并基于所述目标数据确定多个查询向量、多个键向量和多个值向量；

第二确定模块，用于确定每一所述查询向量对应的多个键值对信息，每一所述键值对信息是基于所述多个键向量、所述多个值向量和一数据样本确定的，其中用于确定所述多个键值对信息的多个所述数据样本是基于多个概率分布进行采样得到的，所述多个概率分布基于所述多个查询向量确定；

第三确定模块，用于针对每一所述查询向量，基于所述查询向量和所述多个数据样本进行随机映射，得到多个随机查询向量，并基于所述多个随机查询向量和所述多个键值对信息，确定所述查询向量对应的特征信息。

第三方面，本公开提供一种非临时性计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面中所述方法的步骤。

第三方面，本公开提供一种电子设备，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面中所述方法的步骤。