[发明专利]数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置。其中，该数据处理方法包括：获取分布式系统的基于粒子群优化实现负载均衡的数据分发算法；依据基于粒子群优化实现负载均衡的数据分发算法，计算分布式系统中负载均衡的粒子最佳位置；获取分布式系统的基于粒子群优化实现最优化存储的数据分发算法；依据基于粒子群优化实现最优化存储的数据分发算法和负载均衡的粒子最佳位置，对分布式系统中各节点所需的存储空间进行优化。本发明解决了由于现有的全比较计算研究采用的是分支定界法的方法来完成全比较计算的数据分发，导致的计算时间长，效率低的技术问题。

技术领域

本发明涉及计算机技术应用领域，具体而言，涉及一种数据处理方法和装置。

背景技术

全比较计算是一种典型的计算模式，该计算模式用于解决两两数据文件相关联的一类计算。全比较计算作为一类特殊的计算模式在众多学科领域中频繁出现，如：生物信息学，生物测定学，传统机器学习领域，自然语言处理领域，交通大数据领域。在生物信息学领域，典型的全比较计算存在于核酸序列比对与蛋白质序列比对中。在生物测定学领域，常见的测定任务有人脸识别，在指纹比对中也能见到全比较计算的身影。在传统的机器学习领域，全比较计算以相似矩阵的形式出现在分类算法和聚类算法中。近年来自然语言处理在人工智能领域掀起了一片浪潮，语义相似度计算作为自然语言处理中的一个关键步骤而存在，其使用的计算模式仍是全比较计算。在交通大数据领域，路径规划一直是研究热点，在路径规划工作里面计算数据集中任意两个地点之间的距离形成距离矩阵是一个较为典型的全比较计算。

国内外学者针对全比较计算一直在开展研究，是研究的热点之一。在国外，有学者曾将全比较任务所需的全部数据在分布式集群中的各个计算节点均复制一份。这种分发方式适用于小数据量的情况，在面对海量数据时将造成严重的网络拥堵与存储空间的浪费。有人曾使用Hadoop的分布式存储文件系统(Hadoop Distributed File System,HDFS)来存储执行全比较任务所需的数据。HDFS采用分布式的副本存储方案，该组件默认采用副本数为3的存储方案。这种数据存储方式，虽然能够节约存储空间，但无法保证在执行比较任务时数据的完全本地化。Chaudhary等人在分析生物序列时搭建了一个异构计算平台，为了实现整个系统的负载均衡，他们根据节点的硬件配置来分配任务，在数据分配方面，他们将数据库进行分割，然后将其分发到各个节点上，尽管使用异构计算平台进行计算，但仍然无法避免从集群中的其它节点上请求数据方案。在相关技术中使用图覆盖的方式来进行全比较计算的数据分配，该方法无法适用于数据文件个数与节点个数不同的场景。以及在另一种现有技术中采用了分支定界法的方法来完成全比较计算的数据分发，这种方法虽然能够获得最优化的数据分发方案，但需要牺牲一定的求解时间。

针对上述由于现有的全比较计算研究采用的是分支定界法的方法来完成全比较计算的数据分发，导致的计算时间长，效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法和装置，以至少解决由于现有的全比较计算研究采用的是分支定界法的方法来完成全比较计算的数据分发，导致的计算时间长，效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：获取分布式系统的基于粒子群优化实现负载均衡的数据分发算法；依据基于粒子群优化实现负载均衡的数据分发算法，计算分布式系统中负载均衡的粒子最佳位置；获取分布式系统的基于粒子群优化实现最优化存储的数据分发算法；依据基于粒子群优化实现最优化存储的数据分发算法和负载均衡的粒子最佳位置，对分布式系统中各节点所需的存储空间进行优化。

可选的，获取分布式系统的基于粒子群优化实现负载均衡的数据分发算法包括：获取初始化粒子群参数；依据初始化粒子群参数对预设计算式进行优化，得到基于粒子群优化实现负载均衡的数据分发算法。

进一步地，可选的，初始化粒子群参数包括：最大迭代次数、粒子种群规模、粒子维度、惯性权重、第一加速系数、第二加速系数和粒子速度。