[发明专利]分布式集群中的样本特征分位点确定方法及装置

说明书

本说明书实施例提供一种分布式集群中的样本特征分位点确定方法及装置，用于确定样本特征中第一属性项的特征分位点，主节点的CPU从内存中分别读取具有设定项数的多个第一数组，多个第一数组分别从多个从节点中获取，且分别基于样本集中不同的分批样本的样本特征得到，然后按照预定的方式，针对多个第一数组进行逐级数组合并，直至最后一级数组合并；其中任意一级数组合并包括：针对包含两个数组中各项的特征值集合，进行权重值进行合并、伪项填充操作得到合并数组，并将合并数组写入内存，采用不经意访问方式，从内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项，基于从该合并数组中读取的各项确定所述第一属性项的特征分位点。

技术领域

本说明书一个或多个实施例涉及数据安全技术领域，尤其涉及一种分布式集群中的样本特征分位点确定方法及装置。

背景技术

在需要对数据进行处理的各个应用领域中，数据安全问题备受关注。可信执行环境(Trusted Execution Environment，TEE)能够提供独立于操作系统的执行环境，通过将高安全敏感的应用与通用软件环境隔离开，来提供安全保护。例如，基于软件保护扩展(Software Guard Extensions，SGX)技术制造的可信围圈(Enclave)等等。可信执行环境技术通常采用硬件隔离机制，在计算平台中隔离出包含CPU和内存的安全区域，并且内存中的加密数据只在CPU内部可见。这种可信执行环境技术能够提供比较安全的数据计算服务。运行在TEE中的多个可信计算节点可以构成分布式集群，分布式集群能够提供更高性能的计算服务。

当在TEE中执行针对网络模型的训练或其他应用处理时，CPU可以预先对样本数据进行一定的处理，例如可以对样本特征进行分箱，即可以根据分位点对多个样本特征的特征值进行分组，并将每一组视为一个类别值。在一个例子中，针对从1到50构成的年龄集合，通过分位点15、25、35可以将该年龄集合分成4个分箱。进行分箱之后的样本特征，能够为模型训练带来很多性能提升。而在确定样本特征中某个属性项的分位点时，CPU需要频繁地从内存中读取样本数据。当样本数据属于非常重要的隐私数据时，利用可信执行环境对样本数据进行处理时的安全性要求会更高。

因此，希望能有改进的方案，可以在TEE环境下更加安全地确定样本特征的分位点。

发明内容

本说明书一个或多个实施例描述了分布式集群中的样本特征分位点确定方法及装置，可以在TEE环境下更加安全地确定样本特征的分位点。具体的技术方案如下。

第一方面，实施例提供了一种分布式集群中的样本特征分位点确定方法，用于确定样本特征中第一属性项的特征分位点，所述分布式集群包括处于TEE中的主节点和多个从节点；所述方法通过所述主节点的CPU执行，所述主节点还包括内存；所述方法包括：

从所述内存中分别读取具有设定项数的多个第一数组，所述多个第一数组分别从多个从节点中获取，且分别基于样本集中不同的分批样本的样本特征得到，所述第一数组中任意一项包括样本的第一属性项的特征值与对应的权重值；

按照预定的方式，针对所述多个第一数组进行逐级数组合并，直至最后一级数组合并；其中任意一级数组合并包括：针对包含两个数组中各项的特征值集合，将其中值大小相同的特征值对应的权重值进行合并，得到合并序列；在所述合并序列中填充若干个伪项以得到填充序列，使得填充序列的项数为该两个数组的项数之和，任意一个伪项包含预设特征值与对应的预设权重值；基于所述填充序列形成合并数组，并将所述合并数组写入所述内存；

采用不经意访问方式，从所述内存中读取最后一级数组合并得到的合并数组中除若干个伪项之外的项，并基于从该合并数组中读取的各项确定所述第一属性项的特征分位点。

在一种实施方式中，所述第一数组为对应的从节点对初始数组进行权重值合并、伪项填充后得到的；所述第一数组包含多个真实项和若干个伪项；所述从所述内存中分别读取具有设定项数的多个第一数组的步骤，包括：