针对当前动作识别过程中忽略了场景的语义信息,易受视角变换与遮挡的影响,导致识别率不高等问题,提出了一种基于动态时间规整耦合3D运动历史图像的人体动作识别算法。首先,结合人体的空间位置、运动方向和速度等不同特征,利用多维最长...针对当前动作识别过程中忽略了场景的语义信息,易受视角变换与遮挡的影响,导致识别率不高等问题,提出了一种基于动态时间规整耦合3D运动历史图像的人体动作识别算法。首先,结合人体的空间位置、运动方向和速度等不同特征,利用多维最长公共子序列(Multi-Dimensional Longest Common Subsequence,MDLCS),对视频数据中的行人目标进行跟踪,提取目标的运动轨迹。然后,基于频谱映射理论,对得到的轨迹实施聚类,并计算运动轨迹的聚类中心。通过对聚类结果执行ROI划分和提取,获取场景的语义上下文信息。再引入动态时间规整(Dynamic Time Warping,DTW),将输入的视频序列与聚类中心进行比较,消除异常与冗余动作信息。随后,计算轨迹段的起点、终点与工作区的ROI之间的位置关系,结合场景的语义上下文信息,采用基于颜色和深度信息的3D运动历史图像(3D Motion History Image,3D-MHI)来提取动作特征。最后,利用支持向量机(Support Vector Machine,SVM)对3D-MHI动作特征进行分类学习,完成对人体动作的识别。实验表明:所提算法在UCF Sport与Hollywood数据集上的识别率分别达到了95.1%和92.5%,与当前流行的动作识别算法比较,具有更高的识别率与较强的鲁棒性,对视角变换与遮挡等复杂场景下的动作识别更为有效。展开更多
针对卷积神经网络在高光谱图像特征提取和分类的过程中,存在空谱特征提取不充分以及网络层数太多引起的参数量大、计算复杂的问题,提出快速三维卷积神经网络(3D-CNN)结合深度可分离卷积(DSC)的轻量型卷积模型。该方法首先利用增量主成...针对卷积神经网络在高光谱图像特征提取和分类的过程中,存在空谱特征提取不充分以及网络层数太多引起的参数量大、计算复杂的问题,提出快速三维卷积神经网络(3D-CNN)结合深度可分离卷积(DSC)的轻量型卷积模型。该方法首先利用增量主成分分析(IPCA)对输入的数据进行降维预处理;其次将输入模型的像素分割成小的重叠的三维小卷积块,在分割的小块上基于中心像素形成地面标签,利用三维核函数进行卷积处理,形成连续的三维特征图,保留空谱特征。用3D-CNN同时提取空谱特征,然后在三维卷积中加入深度可分离卷积对空间特征再次提取,丰富空谱特征的同时减少参数量,从而减少计算时间,分类精度也有所提高。所提模型在Indian Pines、Salinas Scene和University of Pavia公开数据集上验证,并且同其他经典的分类方法进行比较。实验结果表明,该方法不仅能大幅度节省可学习的参数,降低模型复杂度,而且表现出较好的分类性能,其中总体精度(OA)、平均分类精度(AA)和Kappa系数均可达99%以上。展开更多
文摘针对当前动作识别过程中忽略了场景的语义信息,易受视角变换与遮挡的影响,导致识别率不高等问题,提出了一种基于动态时间规整耦合3D运动历史图像的人体动作识别算法。首先,结合人体的空间位置、运动方向和速度等不同特征,利用多维最长公共子序列(Multi-Dimensional Longest Common Subsequence,MDLCS),对视频数据中的行人目标进行跟踪,提取目标的运动轨迹。然后,基于频谱映射理论,对得到的轨迹实施聚类,并计算运动轨迹的聚类中心。通过对聚类结果执行ROI划分和提取,获取场景的语义上下文信息。再引入动态时间规整(Dynamic Time Warping,DTW),将输入的视频序列与聚类中心进行比较,消除异常与冗余动作信息。随后,计算轨迹段的起点、终点与工作区的ROI之间的位置关系,结合场景的语义上下文信息,采用基于颜色和深度信息的3D运动历史图像(3D Motion History Image,3D-MHI)来提取动作特征。最后,利用支持向量机(Support Vector Machine,SVM)对3D-MHI动作特征进行分类学习,完成对人体动作的识别。实验表明:所提算法在UCF Sport与Hollywood数据集上的识别率分别达到了95.1%和92.5%,与当前流行的动作识别算法比较,具有更高的识别率与较强的鲁棒性,对视角变换与遮挡等复杂场景下的动作识别更为有效。
文摘针对卷积神经网络在高光谱图像特征提取和分类的过程中,存在空谱特征提取不充分以及网络层数太多引起的参数量大、计算复杂的问题,提出快速三维卷积神经网络(3D-CNN)结合深度可分离卷积(DSC)的轻量型卷积模型。该方法首先利用增量主成分分析(IPCA)对输入的数据进行降维预处理;其次将输入模型的像素分割成小的重叠的三维小卷积块,在分割的小块上基于中心像素形成地面标签,利用三维核函数进行卷积处理,形成连续的三维特征图,保留空谱特征。用3D-CNN同时提取空谱特征,然后在三维卷积中加入深度可分离卷积对空间特征再次提取,丰富空谱特征的同时减少参数量,从而减少计算时间,分类精度也有所提高。所提模型在Indian Pines、Salinas Scene和University of Pavia公开数据集上验证,并且同其他经典的分类方法进行比较。实验结果表明,该方法不仅能大幅度节省可学习的参数,降低模型复杂度,而且表现出较好的分类性能,其中总体精度(OA)、平均分类精度(AA)和Kappa系数均可达99%以上。
