[发明专利]移动边缘云中实时分布式的身份感知行人属性识别方法

权利要求书

1.一种移动边缘云中实时分布式的身份感知行人属性识别方法，其特征在于，步骤如下：

(1)神经网络训练子系统

采用行人重识别技术实现行人身份感知，将行人属性识别与行人重识别的联合训练，在一个神经网络中同时完成两个子任务，以实现在识别行人属性的同时识别出身份；

(1.1)用卷积神经网络作为骨干网络，对输入的图片提取特征表示；

(1.2)将所有行人属性同时考虑，训练单个能同时识别所有行人属性的分类器；行人属性间的相关性也能被学习，识别的精度得以提升；同时减少了模型的冗余信息，模型容量得以大幅减小，利于在移动边缘网络中动态地分配；

行人属性识别子任务的输入为骨干网络提取的特征表示，损失函数为交叉熵损失函数：

其中：N是训练集中的样本数目；M是训练集中每位行人的属性数目；是预测行人样本i含有属性j的概率；y_ij是真实值，指明了行人样本i是否含有属性j；对于属性j，有损失权重w_j来处理属性分布不均衡的问题；ρ_j是属性j在训练集中的比率；σ是用来调优的超参数；

(1.3)属性识别子任务的输出与骨干网络提取的特征表示相连接，作为新的特征表示；行人重识别子任务的输入为新的特征表示，损失函数为分类交叉熵函数：

其中：N是训练集中的样本数目；K是训练集含有的行人数目；是预测行人样本i的编号为k的概率；y_ik是真实值，指明了行人样本i的编号是否为k；

(1.4)采用多任务学习，在单个模型中同时完成行人属性识别与行人重识别两个子任务；两个子任务对应骨干网络之后的两个分支；训练时，整体的损失函数为：

其中：λ为超参数，用来平衡行人属性识别与行人重识别两个子任务的损失值；

(2)分布式推理子系统

(2.1)模块的位置：将推理框架拆分为4个模块，同时使模块间的通信开销最小；模块被分配到不同的边缘服务器，实现分布式推理；本方法中，模块A从摄像头端原始视频流中提取有效的行人图像，发送至服务器；故模块A搭载于摄像头端，模块B、C、D搭载于边缘服务器端；

(2.2)模块的数目：本方法采用多个分布式图像库，通过并行计算加速特征距离计算过程；分布式推理子系统中存在多个模块C，模块B和模块D仅有一个，模块A的数目为摄像头的数目；

(2.3)一次推理请求：

(2.3.1)模块A：模块A为行人检测器，搭载于各摄像头上；模块A从实时的视频流中提取出有效的行人图片x，将行人图片x作为待识别的行人发送到模块B进行处理；

(2.3.2)模块B：模块B接收模块A发出的行人图片x；模块B使用训练完成的神经网络，提取行人图片x的特征表示φ；φ输入行人属性识别分支，识别出行人的属性序列与φ相连接，形成新的特征表示φ′；与神经网络训练阶段不同的是，φ′不再输入行人重识别分支，而是作为待检索行人的完整特征传输到每个模块C；

(2.3.3)模块C：模块C包含一个分布式行人图像库，图像库中存储的是已编号的行人特征；当收到模块B发出的待检索行人特征φ′后，模块C计算待检索特征φ′与图像库中各特征之间的相似度；最大的m个相似度值与对应的行人编号被发送到模块D；

(2.3.4)模块D：模块D存储已编号的行人属性；设有n个模块C，模块D接收各模块C发出的m个带编号的相似度，将收到的所有m×n个相似度进行排序，得到最大的相似度值为s，对应编号为k；若s小于阈值ε，则表明待检索行人图片x首次进入系统的监控范围，行人图片x不存在于n个行人图像库中；此时，模块D为行人图片x分配编号，并将其属性与编号更新到模块D的属性集合中；若s大于等于阈值ε，则表明待检索行人图片x编号为k，此时用新识别的属性更新模块D属性集合中编号k的历史属性；模块D执行完后，将特征φ′与编号更新回图像库中；

模块D中存储的是跨摄像头且与身份绑定的行人属性；

(3)基于上下文多臂老虎机的模块分配子系统

在分布式推理子系统中，各模块的位置对在线推理请求的延迟起着决定性的作用，而当前摄像头网络的状态影响着模块位置的选择；本方法提出一种基于上下文多臂老虎机的模块分配算法，将网络状态作为上下文，为模块放置位置与数据传输链路的选择给出最优决策；基于上下文多臂老虎机的模块分配子系统为每个模块分配一个代理，代理负责其模块在每个决策周期的决策；

具体运行过程如下：

(3.1)初始化存储摄像头网络延迟统计信息的经验回放存储器M；

(3.2)初始化策略集Π；其中：每个策略π对应D到A的不同映射，π∈Π；D是所有可能网络状态的集合，且网络状态数量有限；A是所有可能行动a的集合，且行动a数量有限；a表示为{0,1}的集合，其中1表示代理选择了某边缘服务器来运行模块或选择了某链路来进行数据传输，而0表示未选择它们；

(3.3)在每个决策周期开始时，从M中取得其中：表示边缘服务器处理一次请求产生的最大与最小处理延迟；表示传输一次请求的数据产生的最大与最小传输延迟；

(3.4)将处理延迟与传输延迟划分为L个等级，每一级l表示固定的延迟范围，1≤l≤L；

(3.5)观察当前网络环境，并用步骤(3.4)划分的延迟等级进行量化，记当前网络状态为d；其中：d∈D；

(3.6)对策略集Π中的每个策略π：计算网络状态为d时，π所对应的行动a产生回报的期望；选择回报期望最大的策略π；其中：策略π的回报是指采取行动a后，处理延迟和传输延迟的减少量；策略的历史回报信息存储在策略集中；

(3.7)观察所选策略π的回报，更新策略集Π与经验回放存储器M；新的决策周期开始时，返回(3.3)继续执行。