针对独居老人摔倒问题,构建一种基于双流卷积神经网络(TwoStream CNN)的实时跌倒检测模型。将提取人物轮廓的RGB单帧作为输入的空间流,将连续多帧运动历史图(motion history image,MHI)作为输入的时间流融合,在一个特定维度的全连接层...针对独居老人摔倒问题,构建一种基于双流卷积神经网络(TwoStream CNN)的实时跌倒检测模型。将提取人物轮廓的RGB单帧作为输入的空间流,将连续多帧运动历史图(motion history image,MHI)作为输入的时间流融合,在一个特定维度的全连接层将两个网络的同shape张量Concatenation相连后添加到新的层,在公开的摔倒数据集上进行实验和定量分析。实验结果表明,采用人物轮廓RGB-MHI的双流卷积网络在非摔倒和摔倒的区分检测中准确率达到了98.12%,改进的融合方式相比较其它方法有提高,时间流输入MHI满足实时性要求。展开更多
针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段...针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样,提取RGB帧以及光流图作为scSE模块的输入;将经过scSE处理的特征输入非局部双流ResNet网络中,融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%,结果表明,非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率,验证了SC_NLResNet网络的有效性。展开更多
文摘针对独居老人摔倒问题,构建一种基于双流卷积神经网络(TwoStream CNN)的实时跌倒检测模型。将提取人物轮廓的RGB单帧作为输入的空间流,将连续多帧运动历史图(motion history image,MHI)作为输入的时间流融合,在一个特定维度的全连接层将两个网络的同shape张量Concatenation相连后添加到新的层,在公开的摔倒数据集上进行实验和定量分析。实验结果表明,采用人物轮廓RGB-MHI的双流卷积网络在非摔倒和摔倒的区分检测中准确率达到了98.12%,改进的融合方式相比较其它方法有提高,时间流输入MHI满足实时性要求。
文摘针对双流网络对包含冗余信息的视频帧存在识别率低的问题,在双流网络的基础上引入scSE(Spatial and Channel Squeeze&Excitation Block)和非局部操作,构建SC_NLResNet行为识别框架。该框架将视频划分为等分不重叠的时序段并在每段上稀疏采样,提取RGB帧以及光流图作为scSE模块的输入;将经过scSE处理的特征输入非局部双流ResNet网络中,融合各分段得到最终的预测结果。在UCF101以及Hmdb51数据集上实验准确率分别达到96.9%和76.2%,结果表明,非局部操作与scSE模块结合可以增强特征时空上以及通道间的信息提高准确率,验证了SC_NLResNet网络的有效性。
