[发明专利]一种物流大数据采集方法

说明书

本发明提供一种物流大数据采集方法，数据来源主要通过已有的统计数据和爬虫两种方式来获取，数据包括：全国交通纸质地图，中国城市统计年鉴，中国统计年鉴，中国铁路时刻网和中国民航信息网，物流网站，使用Python提供的SCRAPY框架进行爬虫程序的编写，采用KNN算法补充完整，采用Apriori算法实现关联规则的挖掘，通过紧密中心性和介数中心性判断市级区域在全国范围内的重要性，然后利用GN算法得到不同市级区域之间最短路径，最后利用K均值算法将聚类市级区域是否属于一个分组的判断标准。

技术领域

本发明涉创业技术领域，具体涉及一种物流大数据采集方法。

背景技术

2010年代以来，我国物流业随着电子商务的兴起取得了巨大的发展，发展好物流业不仅可以调整经济结构、促进制造业的发展，而且能够加强区域竞争力，提高人们的生活水平.物流业是一种复合型产业，融合了运输业、仓储业、货代业和信息业等。截止2016年年底，单年度物流总额达到219.2亿元，与上一年相比较增长了5.8%左右，社会物流的总费用也在不断地增长。国际上以全社会的物流总费用占这个国家总GDP的比重来衡量这个国家经济体中的物流效率,数据显示这一数据在缓慢下降，已经下降到16%左右较2010年的17%而言，物流效率已在不断提高。

发明内容

本发明的目的在于提供一种物流大数据采集方法，数据来源主要通过已有的统计数据和爬虫两种方式来获取，采用KNN算法对数据补充完整，采用Apriori算法实现关联规则的挖掘，通过紧密中心性和介数中心性判断市级区域在全国范围内的重要性，然后利用GN 算法得到不同市级区域之间最短路径，最后利用K均值算法将聚类市级区域是否属于一个分组的判断标准。

为实现上述目的，本发明采用的技术方案是：

一种物流大数据采集方法，其特征在于：

1）、数据的采集范围，包括全国交通纸质地图、中国城市统计年鉴、中国统计年鉴、中国铁路时刻网和中国民航信息网物流网站；

2）、采集方法，物流网站数据主要采用的是网络爬虫的方式进行自动抓取，网络爬虫也可以称为网络蜘蛛，是按照特定的规则对互联网上的信息进行自动获取的程序或者脚本，该方法的实质是用计算机程序模拟游览器对丽站进行请求访问，而将网站的反馈信息记录并保存下来，再将保存下来的文本数据封装成树的形式方便用户自定义获取；对于数疵庞大并且记录的数据格式不一但彼此之间又存在某种联系的网站，网络爬虫是最适当的获取手段；

通常每一个网站都有其独一无二的网络地址，称之为统一资源定位符，即URL；这里通过HTTP协议（超文本传输协议，是一种基于请求和响应的应用层协议）与URL可以访问到物流网站的位置，如“物流天下网”的URL为http://www.56885.net/,通过该网址我们可以访问到网站服务器端存储的物流信息，并将服务器返回的文本信息保存成文档对象模型树的结构，这种结构使用起来非常方便，遍历起来也非常简单，并且支持XPath、BeautifulSoup等，增强了其本身的可用性；这里我们使用的是XPath,XPath是一种XML路径语言，通过XPath可以很快地从复杂的树形结构中找到自己需要的信息；这里主要使用Python提供的SCRAPY框架进行爬虫程序的编写，SCRAPY框架是一种使用Twisted异步网络库来处理网络通讯的集网站数据爬取与提取结构性数据等功能为一体的应用框架；通过网络爬虫获取了多种数据属性字段并建立了不同的数据库表，如货物表2.1,包括时间、货物名称、货物类型、运输类型、重量、体积、出发地所属省、出发地所属市、目的地所质省以及目的地所属市。物流专线表2.2包括始发地、终点站、运输方式、配货方式、发车频率、运输时间、承载货物、公司名称、地址、价格等。