[发明专利]数据采集和链路处理方法、装置、计算机设备及存储介质

说明书

本发明涉及数据采集和链路处理方法、装置、计算机设备及存储介质，该方法包括获取来自管理端的采集策略；根据采集策略采用开关模式设定实际采集策略；采用字节增强技术对访问数据进行拦截，以得到拦截的数据；根据实际采集策略对拦截的数据采集用户行为数据、应用传输数据和应用资产数据，以得到目标数据；反馈目标数据，以由管理端根据目标数据组装访问链路，以得到访问链路信息图，且根据访问链路信息图展示访问链路信息。本发明实现可管控地采集用户行为数据、应用传输数据和应用资产数据，且采集更全面、简单，效率高，维护成本低；满足梳理对单次用户访问及接口调用之间的单次数据在应用接口、数据库、应用服务、应用之间的传输路径的需求。

技术领域

本发明涉及数据处理方法，更具体地说是指数据采集和链路处理方法、装置、计算机设备及存储介质。

背景技术

因应用安全运维、安全防护项目落地、溯源分析、取证等需求和要求，需要对应用终端上的用户行为数据、应用传输数据和应用资产数据进行采集，并对单次用户访问和接口调用的单次数据在应用接口、数据库、应用服务、应用之间的传输路径进行梳理，以便于了解和跟踪用户访问的用户行为数据以及用户行为数据在本次访问过程中流转的路径。

目前对于用户行为数据和应用传输数据的采集的方式包括三种，第一种是使用预置的应用程序埋点或二次开发定点采集方案采集用户行为和应用传输数据，但是这种方式需要针对每个指定的采集点都进行二次开发，开发及维护成本极高，因每次采集均需要涉及二次开发，修改代码并运行，对原有的业务存在入侵性；对数据采集的开关需要在代码上进行维护，且无法对数据采集的对象进行可交互式的动态配置和调节，如只采集指定用户、指定接口、指定应用服务的用户行为数据；第二种是通过解析网络流量采集应用传输数据和部分用户行为数据，这种方式对某些私有协议的流量和数据内容无法解析，网络流量分析因私有协议字段和标准未公开，因此无法进行流量解析和数据解析，也就无法解析出应用系统的应用接口和还原传输数据，对加密流量无法进行解析，因部署模式对可采集的应用传输数据范围受限，只能对用户访问的数据进行部分采集，对应用终端之间数据调用无法进行采集，使用部署的设备及部署模式即旁路部署和网络代理部署将提高网络架构的复杂度、提升网络运维的难度、降低故障排除的效率，并使整体网络的可靠性和可用性降低，且无法通过可交互式的数据采集策略对数据采集的对象进行管理和控制，如通过采集频率、数据内容等；还有一种方式是通过架设应用安全网关采集用户行为数据和应用传输数据，这种方式对未纳入应用网关范围的应用无法进行采集，对纳入应用网关范围的也只能采集用户访问数据，对应用之间数据传输无法进行采集，需要对现有的应用系统架构进行调整，影响非常大，无法通过可交互式的数据采集策略对数据采集的对象进行管理和控制，如通过采集频率、数据内容等。

综上所述，目前对用户行为数据和应用传输数据的采集和传输方式存在无法管控，采集复杂和不够灵活，效率低以及维护成本高，也不能满足梳理对单次用户访问及接口调用之间的单次数据在应用接口、数据库、应用服务、应用之间的传输路径的需求。

因此，有必要设计一种新的方法，实现可管控地采集用户行为数据和应用传输数据，且采集更全面、简单和灵活，效率高，维护成本低，可满足梳理对单次用户访问及接口调用之间的单次数据在应用接口、数据库、应用服务、应用之间的传输路径的需求。

发明内容

本发明的目的在于克服现有技术的缺陷，提供数据采集和链路处理方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：数据采集和链路处理方法，包括：

获取来自管理端的采集策略；

根据所述采集策略采用开关模式设定实际采集策略；

采用字节增强技术对访问数据进行拦截，以得到拦截的数据；

根据所述实际采集策略对拦截的数据采集用户行为数据、应用传输数据和应用资产数据，以得到目标数据；