[发明专利]基于Hadoop大数据平台的卡口数据过边界实施方法

摘要

本发明涉及基于Hadoop大数据平台的卡口数据过边界实施方法，包括视频网的卡口抓取服务器定时从交通卡口的Hadoop大数据平台中抓取过车信息数据，并将该数据存入业务前置机，业务前置机定时通过FTP协议从卡口抓取服务器中存储的URL到交通卡口服务器中下载过车图片；边界网关以轮询的方式与第一Oracle数据库交互，获取增量数据信息；边界网关将获得的过车信息数据以及过车图片写入公安网的业务服务器中；数据中心系统定时从业务服务器的第二Oracle数据库中抓取过车信息数据，同时从第二FTP图片库中获取过车图片。本发明利用多线程方式对数据信息读取、传输，处理效率较高；对过边界数据处理方式较灵活，可应用于不同系统对数据过边界处理；解决了海量数据过边界传输。

主权项

一种基于Hadoop大数据平台的卡口数据过边界实施方法，其特征在于该方法包括下列顺序的步骤：（1）视频网的卡口抓取服务器定时从前端交通卡口的Hadoop大数据平台中抓取过车信息数据，并将该数据存入业务前置机的第一Oracle数据库，业务前置机定时通过FTP协议从卡口抓取服务器中存储的过车图片地址URL到前端的交通卡口系统服务器中下载过车图片；（2）边界网关以轮询的方式与视频网的业务前置机的第一Oracle数据库交互，获取业务前置机的第一Oracle数据库的增量数据信息；（3）边界网关将获得的过车信息数据以及过车图片通过摆渡的方式同步至公安网的业务服务器中；（4）公安网的数据中心系统定时从业务服务器的第二Oracle数据库中抓取过车信息数据，同时从第二FTP图片库中获取过车图片；所述业务前置机的第一Oracle数据库和业务服务器的第二Oracle数据库，二者所有字段保持一致；所述过车信息数据包含过车图片地址URL；所述卡口抓取服务器从Hadoop大数据平台中抓取过车信息数据，包括以下步骤：（1）卡口抓取服务器以HBase_PK值作为唯一的主键且按多线程的方式读取Hadoop大数据平台的数据；（2）对已经读取的数据，标记单实例标识位为false，反之，对未读取的数据，标记单实例标识位为true，每次读取前，判断该数据的单实例标识位是否为false，若判断结果为是，则将读取的数据存入业务前置机的第一Oracle数据库，否则，返回上一步；所述业务前置机设定定时任务，定时通过FTP协议从卡口抓取服务器中存储的过车图片地址URL到前端的交通卡口系统服务器中下载过车图片，并将图片命名格式为：P+通行时间+号牌号码+.jpg或F+通行时间+号牌号码+.jpg，其中，P为全景图像PANORAMA_IMAGE的首字母，F为特征图像FEATURE_IMAGE的首字母，将图片存储在其第一FTP图片库内；下载后，将卡口抓取服务器内存储的源文件删除；所述边界网关的数据平台UAS以轮询的方式和业务前置机的第一Oracle数据库、第一FTP图片库交互，获取业务前置机增量数据信息，所述增量数据信息是指新增的过车信息数据和/或过车图片信息；接着，数据平台UAS将获取得到的数据通过网闸摆渡到数据平台TAS上，数据平台TAS收到数据后再写入业务服务器中，同时删除其内的源文件；所述业务服务器获取数据后，将过车数据存储到其第二Oracle数据库及第二FTP图片库中，供数据中心系统抽取，数据中心系统从第二Oracle数据库及第二FTP图片库抽取后，将第二Oracle数据库及第二FTP图片库中的源数据删除；所述卡口抓取服务器单次定量处理数据，分为20个线程，每个线程处理50条数据，读取每条数据的各个字段并保存到业务前置机的第一Oracle数据库中；所述边界网关获取业务前置机的第一Oracle数据库、第一FTP图片库内的过车信息时采取增量读取的方式，首先记录每次读取数据的时间点，每次读取时按照Hadoop大数据平台中数据先进先出的原则，首先取出最先进入Hadoop大数据平台的数据，读取完成后记录最后一条数据的时间点，下次从该时间点开始读取。