[发明专利]一种基于大数据动态规划的数据库协调优化方法

说明书

本发明公开了一种基于大数据动态规划的数据库协调优化方法，包括，采用数据流分块策略将待传输数据全集划分为数据基元；利用二进制序列化压缩策略将所述数据基元转化为二维表结构并进行游程混合编码和压缩；基于多目标优化策略构建优化模型，对压缩处理后的所述数据基元进行动态优化并传输优化后的所述数据基元。本发明通过数据流分块策略划分数据基元，并利用二进制序列化压缩策略减少了数据传输量和传输数据的大小，同时，结合优化模型剔除多余重复的数据，节省了内存空间和不必要的传输，大大提高了传输效率，节约流量，节省空间，对推动大数据优化研究具有积极意义。

技术领域

本发明涉及云计算、大数据、数据库优化的技术领域，尤其涉及一种基于大数据动态规划的数据库协调优化方法。

背景技术

动态规划程序设计是对解最优化问题的一种途径、一种方法，而不是一种特殊算法，不像搜索或数值计算那样，具有一个标准的数学表达式和明确清晰的解题方法，动态规划程序设计往往是针对一种最优化问题，由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的设计方法对不同的问题，有各具特色的解题方法，而不存在一种万能的动态规划算法，可以解决各类最优化问题。

数据库，简单来说是本身可视为电子化的文件柜--存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等操作，数据库指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的特点、是与应用程序彼此独立的数据集合，在经济管理的日常工作中，常常需要把某些相关的数据放进这样的仓库，并根据管理的需要进行相应的处理；例如，企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中，这张表就可以看成是一个数据库，有了这个数据仓库我们就可以根据需要随时查询某职工的基本情况，也可以查询工资在某个范围内的职工人数等等，这些工作如果都能在计算机上自动进行，那我们的人事管理就可以达到极高的水平。目前，由于所有的网络数据都需要集中存储在数据库所在的服务器中，这些数据需要通过网络从各自所在的网管服务器传输到数据仓库所在的服务器本地，然而，需要传输数据量很大，网络带宽资源却是有限的，通常为每秒只有几十兆，数据传输时间太长，传输出错的概率较大，且传输效率较低。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于大数据动态规划的数据库协调优化方法，能够解决现有数据库调度数据传输效率较低的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，采用数据流分块策略将待传输数据全集划分为数据基元；利用二进制序列化压缩策略将所述数据基元转化为二维表结构并进行游程混合编码和压缩；基于多目标优化策略构建优化模型，对压缩处理后的所述数据基元进行动态优化并传输优化后的所述数据基元。

作为本发明所述的一种基于大数据动态规划的数据库协调优化方法的一种优选方案，其中：划分所述数据基元包括，基于四元信息系统描述原则进行如下计算，

其中，G_bi为特征b_i的值集，W为数据系统中所有个体的全集，是非空有限集，b为个体的特征，G_a为特征b的值域。