[发明专利]基于联邦迁移学习的驾驶员行为云边协同学习系统

权利要求书

1.一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，包括智能车载终端和AI云平台，以及运行于智能车载终端和AI云平台上的神经网络系统，所述神经网络系统包括分别运行于智能车载终端和AI云平台上的车载端神经网络和平台端神经网络，且车载端神经网络的输出层与平台端神经网络的输入层连接；

所述AI云平台与多个智能车载终端连接，提供算力与存储服务，并采用加密无线传输机制实现车载端神经网络和平台端神经网络的联邦模型训练与学习迁移，同时AI云平台提供包含车辆与轨迹管理、远程诊断与监控在内的应用层服务；

所述智能车载终端包括：

驾驶员监控摄像头，采集含有驾驶员行为特征信息的原始图像，

边缘智能处理单元，与驾驶员监控摄像头连接，对所述原始图像进行图像数据预处理，并运行所述车载端神经网络进行驾驶员行为初学习，构建基于时域变化的驾驶员行为特征向量集合，

智能车载网关，与边缘智能处理单元和车载VCU连接，将驾驶员行为特征向量和车辆状态信息脱敏后连同车载端神经网络的训练权值上传至AI云平台，并接收由AI云平台返回的的训练权值以转发至边缘智能处理单元。

2.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述驾驶员行为特征信息包括人脸特征、头部运动、眼球运动和肢体运动，任一所述图像中含有人脸特征、头部运动、眼球运动和肢体运动中的任一或任意组合。

3.根据权利要求2所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述驾驶员行为特征向量为：

{F、E、H、B}

其中：F为驾驶员身份特征，至少包括性别、年龄、疲劳度、情绪状态，E为瞳孔中心点的运动状态与眼睑闭合状态，H为至少包含头部俯仰转向在内的头部运动状态，B为肢体运动状态。

4.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述车辆状态信息包括车辆速度、纵向加速度、横向加速度、制动踏板位移、加速踏板位移，以及车辆环境感知信息。

5.根据权利要求4所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述车辆环境感知信息由环境感知传感器采集，包括道路信息、邻车运动信息、障碍物信息、天气光线环境信息和高精度地图信息。

6.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述神经网络的车载端神经网络和平台端神经网络的各隐含层加权值可基于同一归类边界条件的车辆进行联邦迁移学习寻优。

7.根据权利要求5所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述AI云平台基于车辆状态信息中的车路状态信息对脱敏后的驾驶员行为特征信息进行聚类，划归为同一类别的车辆的驾驶员行为特征、车路状态参数作为AI云平台的神经网络的平台端神经网络的输入进行联邦学习，进一步挖掘网络深度特征值，扩展平台端神经网络层数分析驾驶员行为意图，并识别异常驾驶行为。

8.根据权利要求7所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述AI云平台提供算力并存储脱敏训练数据而不是存储原始图片信息。

9.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述智能车载网关通过5G上传，并集成了加密算法。

10.根据权利要求1所述的一种基于联邦迁移学习的驾驶员行为云边协同学习系统，其特征在于，所述驾驶员监控摄像头设有多路，以全方位同步驾驶员图像监测。