[发明专利]动态生成一组API端点的系统和方法

说明书

一种用于生成一组API端点的方法和系统，包括：接收网络数据请求以从中提取原始URL字符串和http Method；将所述URL字符串拆分为组件组；以及构建组件树。检测动态组件并且用通用标志符进行替换。然后通过将相同分支合并为单个分支来折叠所述组件树，从而提供一组API端点。动态组件的检测可包括：确定与父节点配对的子节点的数量相对较大；检测到父节点组件在预定时间内的出现次数与对应的子节点组件的出现次数相比较相对较高；检测共享父节点的孙节点组件的相对较高的相似性；以及检测具有随机生成的字符序列的子组件。

发明背景

技术领域

本申请总体上涉及允许两个软件程序相互通信的应用程序接口或“API”，并且更具体地，涉及一种用于基于指向web应用程序的网络流量而生成与所述web应用程序相关联的一组API端点的系统和方法。

现有技术

应用程序接口或“API”仅是允许两个软件程序相互通信的计算机软件代码。API通过从web应用程序或web服务器发送信息请求并接收响应来发挥作用。API端点是API与软件程序连接的点。换句话说，API端点是由一个程序发送信息请求并且可访问对应的资源的特定数字位置。

API的性能取决于其与API端点成功通信的能力。通常被定义为唯一元组{URL,Method}的API端点构成了大多数现代web应用程序的最基本的命令单元。URL表示统一资源定位符，其用于指定web资源在计算机网络上的位置以及检索所述资源的机制。典型的URL可具有形式http://www.example.com/index.html，其指示协议(http)、主机名称(www.example.com)和文件名称(index.html)。“Method”组件指代常见的http方法请求，如POST、GET、PUT、PATCH以及DELETE。

仅仅从检查流量来学习由web应用程序公开的该组API端点具有大量应用，如web应用程序防火墙中的数据剖析和用户行为剖析。另外地，所学习的这组API端点作为系统管理员的app可观测性工具具有莫大的好处。一旦学习了该组API端点，就可使用它来剖析和创建与应用程序有关的其他有用信息，如典型的用户行为等，这可表现得像商业、安全和站点可靠性工程团队消费安全和商业智能见解一样。

例如，此类信息对于安全目的具有价值，诸如：1)已知API端点的“白名单”；2)已知API端点的剖析；3)使用API端点访问序列进行用户行为分析；以及4)基于逐个API端点访问速率而进行拒绝服务(DoS)攻击检测。除了安全考虑之外，此类信息对于以下各项也是有价值的：1)识别最慢的API端点；2)识别最容易出错的那些API端点；以及3)能力计划。

第7层或L7指代互联网的七层OSI模型中的最顶层；它也被称为“应用层”。应用层是抽象层，它指定了通信网络中主机使用的共享通信协议和接口方法。在OSI模型中，应用层用作负责向用户显示所接收的信息的用户接口。作为解释，用于加载网页的HTTP请求和响应是第7层事件。

到目前为止，学习API端点的努力已经被限于对{URL,Method}元组的直接父子关系检查。它的一个问题是，在针对所学习的一组API端点匹配URL时，URL中可能存在动态组件，所述动态组件需要映射到正则表达式(“regex”)的“any”或“*”运算符，即定义搜索模式的字符序列。在没有能力自动地识别这些动态组件的情况下，任何{URL,Method}系统都会结束于学习所有唯一URL的详尽集合。这种方法会导致学习指向同一个API端点的重复URL，从而导致大到难以管理的URL集合。

例如，托管在www.reddit.com处的web应用程序使用呈看似随机的字符串形式的唯一ID来标识唯一对象。在以下所列的URL中：

https://reddit.com/r/news/comments/8zo9or

字符“8zo9or”表示这种唯一ID，或随机字符串。与这种随机字符串相关的静态属性稍后可出现在URL中，如以下所例举：