现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Ne...现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Net),旨在实现更精确的工业缺陷检测。与现有方法不同,SSMOD-Net实现SAM(Segment Anything Model)的自动化提示且不需要微调SAM,因此特别适用于需要处理大规模工业视觉数据的场景。SSMOD-Net的核心是一个新颖的提示编码器,该编码器由状态空间模型驱动,能够根据SAM的输入图像动态地生成提示。这一设计允许模型在保持SAM架构不变的同时,通过提示编码器引入额外的指导信息,从而提高检测精度。提示编码器内部集成一个残差多尺度模块,该模块基于状态空间模型构建,能够综合利用多尺度信息和全局信息。这一模块通过迭代搜索,在提示空间中寻找最优的提示,并将这些提示以高维张量的形式提供给SAM,从而增强模型对工业异常的识别能力。而且所提方法不需要对SAM进行任何修改,从而避免复杂的对训练计划的微调需求。在多个数据集上的实验结果表明,所提方法展现出了卓越的性能,与AutoSAM和SAM-EG(SAM with Edge Guidance framework for efficient polyp segmentation)等方法相比,所提方法在mE(mean E-measure)和平均绝对误差(MAE)、Dice和交并比(IoU)上都取得了较好的结果。展开更多
针对在GPS信号弱/拒止和环境感知欠缺的环境下可重构海洋浮体的协同控制问题,本文提出了一种基于定相对位姿(Determined relative pose,DRP)视觉伺服模型的鲁棒非线性模型预测控制(Nonlinear model predictive control,NMPC)方案。可重...针对在GPS信号弱/拒止和环境感知欠缺的环境下可重构海洋浮体的协同控制问题,本文提出了一种基于定相对位姿(Determined relative pose,DRP)视觉伺服模型的鲁棒非线性模型预测控制(Nonlinear model predictive control,NMPC)方案。可重构海洋浮体的视觉伺服问题难点主要包括环境干扰强、系统非线性程度高、视觉伺服易陷入局部极值和可见性约束强。为应对这些难题,该视觉伺服控制策略需要实现:被控船仅依靠视觉信息进行多船协同控制;视觉伺服模型收敛性好;控制器具有一定鲁棒性且处理非线性系统和约束条件的能力强。为此,本研究首先建立了单浮体的动力学模型;然后将视觉模型、被控船艏摇信息及相机云台转角信息整合到系统状态中,形成了DRP模型,从而保证了双浮体视觉伺服控制结束后相对位姿的唯一性;接着结合浮体动力学模型和DRP模型,建立了基于图像的视觉伺服(Image based visual servo,IBVS)的系统模型,并对该系统模型进行分析,进而据此设计了鲁棒的NMPC控制器,以保证视觉伺服任务可以在强外界干扰的环境下进行;最后通过大量数值仿真实验验证了该方案的有效性。这些实验结果不仅证明了控制策略的稳定性和准确性,还展示了其在复杂环境下的鲁棒性能。展开更多
文摘现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Net),旨在实现更精确的工业缺陷检测。与现有方法不同,SSMOD-Net实现SAM(Segment Anything Model)的自动化提示且不需要微调SAM,因此特别适用于需要处理大规模工业视觉数据的场景。SSMOD-Net的核心是一个新颖的提示编码器,该编码器由状态空间模型驱动,能够根据SAM的输入图像动态地生成提示。这一设计允许模型在保持SAM架构不变的同时,通过提示编码器引入额外的指导信息,从而提高检测精度。提示编码器内部集成一个残差多尺度模块,该模块基于状态空间模型构建,能够综合利用多尺度信息和全局信息。这一模块通过迭代搜索,在提示空间中寻找最优的提示,并将这些提示以高维张量的形式提供给SAM,从而增强模型对工业异常的识别能力。而且所提方法不需要对SAM进行任何修改,从而避免复杂的对训练计划的微调需求。在多个数据集上的实验结果表明,所提方法展现出了卓越的性能,与AutoSAM和SAM-EG(SAM with Edge Guidance framework for efficient polyp segmentation)等方法相比,所提方法在mE(mean E-measure)和平均绝对误差(MAE)、Dice和交并比(IoU)上都取得了较好的结果。
文摘针对在GPS信号弱/拒止和环境感知欠缺的环境下可重构海洋浮体的协同控制问题,本文提出了一种基于定相对位姿(Determined relative pose,DRP)视觉伺服模型的鲁棒非线性模型预测控制(Nonlinear model predictive control,NMPC)方案。可重构海洋浮体的视觉伺服问题难点主要包括环境干扰强、系统非线性程度高、视觉伺服易陷入局部极值和可见性约束强。为应对这些难题,该视觉伺服控制策略需要实现:被控船仅依靠视觉信息进行多船协同控制;视觉伺服模型收敛性好;控制器具有一定鲁棒性且处理非线性系统和约束条件的能力强。为此,本研究首先建立了单浮体的动力学模型;然后将视觉模型、被控船艏摇信息及相机云台转角信息整合到系统状态中,形成了DRP模型,从而保证了双浮体视觉伺服控制结束后相对位姿的唯一性;接着结合浮体动力学模型和DRP模型,建立了基于图像的视觉伺服(Image based visual servo,IBVS)的系统模型,并对该系统模型进行分析,进而据此设计了鲁棒的NMPC控制器,以保证视觉伺服任务可以在强外界干扰的环境下进行;最后通过大量数值仿真实验验证了该方案的有效性。这些实验结果不仅证明了控制策略的稳定性和准确性,还展示了其在复杂环境下的鲁棒性能。
