[发明专利]一种数据优化处理系统

说明书

本发明提供了一种数据优化处理系统，该系统包括：数据预处理模块，用于从待处理业务数据中选取用于进行优化处理的数据子集；通信模块，用于对所述数据预处理模块选取的数据子集进行MPS编码，得到MPS数据包，根据预设数据结构解析所述MPS数据包，得到符合优化处理的结构化数据，并将得到的结构化数据传输到计算模块；计算模块，用于利用智能优化算法对所述结构化数据进行优化处理。本发明提供的数据优化处理系统可以根据用户的需求，快速、准确的从海量的业务数据中找到基于事实的决策，提升业务的作业效率。

技术领域

本发明涉及数据技术领域，尤其涉及一种数据优化处理系统。

背景技术

在工程实践中，经常会接触到一些比较“新颖”的算法或理论，比如。这些算法或理论都有一些共同的特性(比如模拟自然过程)，通称为“智能优化算法”，如模拟退火，遗传算法，禁忌搜索，神经网络等。它们在解决一些复杂的工程问题时大有用武之地。智能优化算法要解决的一般是最优化问题。最优化问题可以分为(1)求解一个函数中，使得函数值最小的自变量取值的函数优化问题和(2)在一个解空间里面，寻找最优解，使目标函数值最小的组合优化问题。典型的组合优化问题有：旅行商问题(Traveling Salesman Problem，TSP)，加工调度问题(Scheduling Problem)，0－1背包问题(Knapsack Problem)，以及装箱问题(Bin Packing Problem)等。

但是，现有的智能优化算法在具体应用中，没有一个完整的数据优化平台，无法自动完成根据优化处理对应的优化数据模型对待处理业务数据进行数据选取，以及根据预设的优化数据模型对应的数据结构对选取的数据结构化处理，导致现有的智能优化算法对海量的业务数据进行数据优化处理的速度和效率很低，需要几个小时甚至更多。因此，如何提供一种可以根据用户的需求，快速、准确的从海量的业务数据中找到基于事实的决策的数据优化处理系统是当前急需解决的问题。

发明内容

鉴于上述问题，本发明提出了一种数据优化处理系统，有效地提高了数据优化处理的速度和效率，进而实现根据用户的需求，快速、准确的从海量的业务数据中找到基于事实的决策。

本发明提供的数据优化处理系统，包括：

数据预处理模块，用于从待处理业务数据中选取用于进行优化处理的数据子集；

通信模块，用于对所述数据预处理模块选取的数据子集进行MPS编码，得到MPS数据包，根据预设数据结构解析所述MPS数据包，得到符合优化处理的结构化数据，并将得到的结构化数据传输到计算模块；

计算模块，用于利用智能优化算法对所述结构化数据进行优化处理。

其中，所述数据预处理模块，还用于在从待处理业务数据中选取用于进行优化处理的数据子集之前，对所述待处理业务数据进行标准化处理，并根据待处理业务数据对应的业务规则，对标准化处理后的数据进行数据一致性检验。

其中，所述数据预处理模块，具体用于建立预设的数据优化处理模型与待处理业务数据之间的对应关系，根据所述对应关系从所述待处理业务数据中选取用于进行优化处理的数据子集。

其中，所述系统还包括：

数据验证模块，用于在所述通信模块对所述数据子集进行MPS编码之前，采用所述智能优化算法的原型算法对所述数据子集进行性能指标验证。

其中，所述通信模块包括：数据划分单元和并行的多个数据传输节点；

数据划分单元，用于根据预设条件对所述数据子集进行划分，得到多个数据块；

每一数据传输节点包括数据编码单元、数据解析单元以及数据传输单元；

数据编码单元，用于对每一数据块进行MPS编码，得到MPS数据包；