空中交通管制员在指挥飞机时存在频繁嘴部开合活动。为从管制员的嘴部陆空通话行为中准确区分哈欠行为,降低管制员疲劳工作产生的安全风险,提出了一种基于视频的结合卷积神经网络(Convolutional Neural Network,CNN)与长短期记忆网络(Lo...空中交通管制员在指挥飞机时存在频繁嘴部开合活动。为从管制员的嘴部陆空通话行为中准确区分哈欠行为,降低管制员疲劳工作产生的安全风险,提出了一种基于视频的结合卷积神经网络(Convolutional Neural Network,CNN)与长短期记忆网络(Long and Short Term Memory Networks,LSTM)的管制员嘴部行为识别方法。首先,搭建面部定位模型提取人脸68特征点,建立嘴部几何区域提取模型划分嘴部区域;其次,建立管制员哈欠检测模型分别提取嘴部视频序列帧的空间特征与时间特征;最后,采集数据集管制员嘴部活动数据集(Civil Aviation University of China-Controller,CAUC CON)用于模型训练,通过哈欠分类模型得出序列帧内管制员嘴部哈欠识别结果。结果表明:基于视频的加入时间信息的哈欠检测方法更适合管制员的工作条件,较传统哈欠识别方法的平均识别准确率最高提升了14.4%。展开更多
文摘空中交通管制员在指挥飞机时存在频繁嘴部开合活动。为从管制员的嘴部陆空通话行为中准确区分哈欠行为,降低管制员疲劳工作产生的安全风险,提出了一种基于视频的结合卷积神经网络(Convolutional Neural Network,CNN)与长短期记忆网络(Long and Short Term Memory Networks,LSTM)的管制员嘴部行为识别方法。首先,搭建面部定位模型提取人脸68特征点,建立嘴部几何区域提取模型划分嘴部区域;其次,建立管制员哈欠检测模型分别提取嘴部视频序列帧的空间特征与时间特征;最后,采集数据集管制员嘴部活动数据集(Civil Aviation University of China-Controller,CAUC CON)用于模型训练,通过哈欠分类模型得出序列帧内管制员嘴部哈欠识别结果。结果表明:基于视频的加入时间信息的哈欠检测方法更适合管制员的工作条件,较传统哈欠识别方法的平均识别准确率最高提升了14.4%。
