[发明专利]计算机中基于数据立方体的物流智能交易数据处理方法

说明书

技术领域

本发明涉及一种数据挖掘和物流信息化技术领域，特别是计算机中基于数据立方体的物流智能交易数据处理方法。

背景技术

随着物流提速作为国家战略发展明确方向之一物流信息化得到了政府的大力支持。但是物流信息化系统中车货适配部分智能化程度却没有得到显著的提高。目前货主找车或者车主找货比较常用的做法是在浏览器页面上通过手工输入或设置查询条件进行查询，服务网站会将符合查询条件的物流车辆信息或者待运货物信息以列表的方式显示出来，货主或者车主通过线下电话联系等方式进行交易，很多零担货物运输还通过物流QQ群发布信息的方式寻找临时的车源，但是很多时候都得不到及时的响应。从而导致货主急需运货却找不到及时且合适的货运资源，而有时运输车辆尚未满载却找又不到合适的货物填满车厢进行共同配送。

为解决车辆调度优化的问题，很多信息化系统使用OLAP数据挖掘对由历史数据组成的数据仓库进行数据分析，这种数据处理方式侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业(公司)的经营状况，了解对象的需求，制定正确的方案。在物流领域，管理者通过数据挖掘分析过去的数据来预测市场需求变化，预先对运输资源做出调整以应对可能出现的运输需求的变化。

现有技术中存在以下缺陷：

数据实时性差：使用者通过定义数据挖掘的维度以及根据维度从数据仓库中提取数据从而形成数据立方体，由于数据仓库数据量相当大，直接查询和计算耗时太长，OLAP往往会对数据仓库中的数据进行一部分预处理即预先将原始数据从数据仓库中读出并进行泛化分层等计算操作，将原始数据加工成对业务决策有意义的业务数据并存储在内存或存储介质中，从而提高用户查询的效率。传统的OLAP数据挖掘过程如图3所示。OLAP数据挖掘虽然拥有强大的分析处理和查询功能，但是普遍存在数据更新代价太大，无法及时更新实时数据的问题。其原因主要有:

数据仓库数据更新周期较长:数据仓库作为企业生产活动的历史数据库保存了大量的历史信息，并定期从生产数据库提取自上次更新时间点以来新产生的数据并进行处理和存储，但是这个提取活动周期较长，满足不了实时存入的要求。

OLAP数据挖掘处理代价较大:OLAP数据挖掘所针对的原始数据达到100GB甚至达到TB级，从如此大量的数据中进行查询和计算需要耗费大量的时间以及计算资源。所以OLAP服务器在处理数据时会使用部分物化的方式:即根据数据挖掘所设定的维度将原始数据进行部分层次的计算，并将计算结果存入数据库或者存储介质，以达到加快访问速度的目的。每次底层数据的更新意味着数据的重新挖掘和重新计算。

无法应对突发的未知的潜在客户：原有的数据挖掘只是对过往数据的分析，并主动调整运输资源去应对已知客户的可能发生的需求变化，但是对于零担物流等细分市场很多物流公司无法应对预料之外的运输需求，从而经常手忙脚乱的到处寻找临时的运输车辆资源。

本发明中相关的技术术语和概念定义如下：

1.数据仓库：数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。简单的说就是将日常生产活动中所产生的历史数据按照用户感兴趣的侧重点(即主题)进行存储，以便于日后进行联机分析处理(OLAP)/数据挖掘。数据仓库中存储着大量的企业历史数据，并定期从生产活动数据库中导入新的数据。数据仓库中的历史数据即为OLAP数据挖掘的原始数据。

2.联机分析处理：联机分析处理(OLAP)系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业(公司)的经营状况，了解对象的需求，制定正确的方案

3.数据挖掘:数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

4.维度：数据挖掘中的术语，数据挖掘过程中参照维度对数据进行处理。比如按照时间总结每季度某商品的销售情况，那时间就是数据挖掘的一个维度，如果根据城市或省份进行汇总，那就是根据地理纬度进行的汇总计算。