[发明专利]一种智慧灯杆呼救系统及方法

权利要求书

1.一种智慧灯杆呼救系统，其特征在于，包括：

手势和语音信息获取模块，设置在智慧灯杆上，用于获取手势动作图像或语音信息，以及进行手势动作或语音识别；

云端服务器，接收手势和语音信息获取模块发送的手势动作图像或语音信息，进行处理后返回给手势和语音信息获取模块，用于进行手势动作或语音识别；

呼救信号请求模块，设置在智慧灯杆上，若手势动作或语音信息被识别为设定的呼救信息，则呼救信号请求模块对外发送请求信号。

2.根据权利要求1所述的一种智慧灯杆呼救系统，其特征在于，若手势动作或语音信息被识别为设定的呼救信息，则对应智慧灯杆上的音响设备发出警报信号，且对应智慧灯杆上的摄像头将视频信息实时对外发送。

3.一种利用智慧灯杆进行呼救的方法，其特征在于，包括：

智慧灯杆上的手势和语音信息获取模块获取手势动作图像或语音信息，并发送给云端服务器；

云端服务器处理手势动作图像或语音信息，并返回给手势和语音信息获取模块；

手势和语音信息获取模块根据接收到的信号进行手势动作或语音识别，若手势动作或语音信息被识别为设定的呼救信息，则智慧灯杆上的呼救信号请求模块对外发送请求信号。

4.根据权利要求3所述的方法，其特征在于，还包括：若手势动作或语音信息被识别为设定的呼救信息，则智慧灯杆上的音响设备发出警报信号，且智慧灯杆上的摄像头将视频信息实时对外发送。

5.根据权利要求3所述的方法，其特征在于，所述的手势和语音信息获取模块使用手势识别模型分割手势图片并识别出手势，得到手势分类结果，其中手势识别模型使用开源手势数据集训练得到，其中数据集包括手势图片及其标定数据；使用语音识别模型识别特定语音，所述的语音模型使用开源数据集和机器学习方法训练得到。

6.根据权利要求3所述的方法，其特征在于，所述的手势和语音信息获取模块获取手势动作图像的过程包括：

枪式摄像头以及低位广角摄像头调至正常运行状态；

按照设定间隔和频率，实时地向云端服务器发送两个摄像头采集到的图片。

7.根据权利要求3所述的方法，其特征在于，所述的手势和语音信息获取模块识别手势动作图像的过程包括：

从云端服务器接收降噪处理过的图片，送入SSD模型中进行分割；

将分割后的手势图片送入CNN模型中进行分类；

分类后得到手势属于各种手势类别的概率，将概率最大值对应的手势种类视为该手势的类别，再判断识别出来的手势是否为规定的求救手势，若不为规定的求救手势，则识别下一张图片；若为规定的求救手势，则向呼救信号请求模块发送信号。

8.根据权利要求3所述的方法，其特征在于，所述的手势和语音信息获取模块识别语音信息的过程包括：

接收由云端服务器对语音信息进行特征提取后得到的矩阵向量；

结合声学模型和语音模型，将矩阵向量进行语音解码后变成文字序列，然后将此文字序列与预先设定的文字进行比对，判断是否是呼救文字，若不为规定的呼救文字，则继续识别下一段文字；若为规定的呼救文字，则向呼救信号请求模块发送信号。

9.根据权利要求3所述的方法，其特征在于，若手势动作或语音信息被识别为设定的呼救信息，则呼救信号请求模块向部署在云端的控制中心发送请求信号，并将智慧灯杆的控制权转移给控制中心，控制中心收到信号后，将智慧灯杆上的摄像头采集的现场犯罪紧急情况或者需要帮助的对象投屏到显示大屏，并控制智慧灯杆上的灯管变为闪烁的状态。

10.根据权利要求3所述的方法，其特征在于，所述的呼救信号请求模块对外发送请求信号前，还执行以下流程：确定所述语音信息所表示的语音为第一呼救请求信号，确定所述手势动作所表示的手势为第二呼救请求信号，确定第一呼救请求信号与第二呼救请求信号之间的优先级，当第一呼救请求信号与第二呼救请求信号同时产生时，选择优先级较高的一个先进行发送。