[发明专利]一种交通安全综合服务管理平台数据采集传输的方法

权利要求书

1.一种交通安全综合服务管理平台数据采集传输的方法，其特征在于，其包括以下步骤：

S1：对所有的一级交管平台进行数据埋点处理，建立写权限列表，将所有允许提交数据的所述一级交管平台中的应用服务记入所述写权限列表，针对每个所述应用服务分别建立服务器监控代理节点；

所述应用服务实时的将埋点记录写入其对应的日志文件；

S2：所述服务器监控代理节点实时收集其对应的所述日志文件下的日志数据，同时记录更新当前文件行偏移量；

S3：针对每个一级交管平台建立一个监控中心节点，将允许与二级监控中心节点进行通信的监控中心节点进行备案得到传输节点备案列表；

所述服务器监控代理节点分别通信连接对应的所述监控中心节点，实时将本次收集的所述日志数据发送到所述监控中心节点；

S4：所述监控中心节点将收到的所有所述日志数据合并得到区域日志数据，将所述区域日志数据转换为预设格式的字符串，并且使用事先约定的私钥对字符串进行加密签名获得数字签名；最后对所述数字签名和字符串格式的所述区域日志数据进行编码，得到区域日志提交数据；

S5：所述监控中心节点将所述区域日志提交数据发送到二级监控中心节点；

S6：所述二级监控中心节点收到所述区域日志提交数据后，对收到的所述区域日志提交数据进行解码；

S7：所述二级监控中心节点获取传输数据的所述监控中心节点的公钥，对解码后的所述区域日志提交数据中的所述数字签名进行验签，根据所述传输节点备案列表判断数据来源是否有效；

如果所述数据来源有效，则将其对应的解码后获得的字符串格式的所述区域日志数据发送到二级监控数据处理节点；执行S8；

如果所述数据来源无效，则扔掉其对应的所有数据，继续执行S6处理下一批次数据；

S8: 所述二级监控数据处理节点将接收到的字符串格式的所述区域日志数据转换成相应的对象列表，过滤无效数据后，得到有效的对象列表；将所述有效的对象列表按照其对应的所述应用服务服务类型保存到数据库，以供二级管理平台进行后续统计分析操作；

步骤S1中，当所述应用服务实时的将所述埋点记录写入其对应的日志文件前，先进行权限判断，详细步骤如下：

a1：所述应用服务读取所述写权限列表，判断自身是否在所述写权限列表中；

如果不在此列表中，则直接跳过，无需执行后续操作；

如果其自身在所述写权限列表中，对其对应的所述日志文件没有写权限，则执行步骤a2；

如果其自身在所述写权限列表中，且拥有其对应的日志文件的写权限，则执行步骤a3；

a2：所述应用服务将自身账户切换到管理员账户，在所述写权限列表中，开通自身对其对应的所述日志文件的写权限；然后切换回自身账户，执行步骤a3；；

a3：直接执行后续的所述埋点记录写入操作。

2.根据权利要求1所述一种交通安全综合服务管理平台数据采集传输的方法，其特征在于：步骤S1中，对于所述一级交管平台进行埋点处理时，埋点格式为：当前时间—埋点类型—服务类型—省份代码—发证机关—当前用户—用户类型—请求地址—请求参数—其他字段；

其中：时间字段格式为字符串，其他字段为json字符串。

3.根据权利要求1所述一种交通安全综合服务管理平台数据采集传输的方法，其特征在于：

步骤S2中，所述服务器监控代理节点采用Apache Flume实时收集所有的所述日志文件下的日志数据，同时记录更新所有的所述日志文件的所述当前文件行偏移量；

所述当前文件行偏移量的初始值为所述日志文件的起始位置；

所述服务器监控代理节点根据每一个所述当前文件行偏移量，准确定位到当前需要收集数据所述日志文件的开始位置，顺序收集所有日志数据，收集完成后更新数据收集结束位置作为所述日志文件的所述当前文件行偏移量，作为下次收集的数据开始位置。

4.根据权利要求1所述一种交通安全综合服务管理平台数据采集传输的方法，其特征在于：步骤S4中，所述监控中心节点使用Fastjson将所述区域日志数据转换成JSON字符串，同时使用事先约定的私钥对JSON字符串进行SHA256withRSA签名，最后对所述数字签名和字符串格式的所述区域日志数据进行Base64编码，得到所述区域日志提交数据。