基于Transformer架构的端到端粗-精网络场景图生成方法

1

作者 李俊良 吕诗融 李炜 《工程科学与技术》 北大核心 2025年第5期344-354,共11页

场景图生成是计算机视觉领域的一个重要任务,旨在对视觉场景有一个全面且深度的理解,着重于识别实体以及实体之间存在的关系,最终要求模型输出一系列三元组<主体,谓词,客体>和一个图结构的场景表示。这对模型的理解能力和推理能... 场景图生成是计算机视觉领域的一个重要任务,旨在对视觉场景有一个全面且深度的理解,着重于识别实体以及实体之间存在的关系,最终要求模型输出一系列三元组<主体,谓词,客体>和一个图结构的场景表示。这对模型的理解能力和推理能力提出了更高的要求。现有的场景图生成方法在现阶段取得了巨大的成功,然而大多数模型存在参数量太大或对谓词(即实体之间的关系)的判断不准确的问题。为了能够解决这些问题,本文提出了一个端到端的粗-精网络(rough-and-refine model,RRM)场景图生成方法,整个模型包括粗网络和精网络两部分。一方面,粗网络负责提取场景中的各种基本信息,包括图像特征、实体特征和谓词特征。该部分利用Transformer架构,通过卷积神经网络和编码器的结合进行特征提取,获取图像特征。紧接着设计了实体解码器和谓词解码器,分别计算得到实体特征和谓词特征。另一方面,精网络利用粗网络中的场景信息,做进一步的信息交互,使模型获得更精确的预测能力。首先,用三元组查询生成模块获得主体查询、客体查询以及谓词查询,然后,分三条路径分别计算三元组的三个不同部分的表示。在不同路径中,设计了特征信息聚合模块、实体信息聚合模块和谓词信息聚合模块,加强模型对场景的理解,并且用路径之间的连接使模型在谓词的表示中更多地考虑主体和客体的信息。本文提出的模型在公开数据集Visual Genome上取得了优秀的成绩,在R@20、R@50、R@100评价指标上达到23.8、29.1、32.5;在mR@20、mR@50、mR@100指标上达到7.7、11.0、12.4。实验数据和可视化结果充分展现了本文提出的模型对场景的理解能力。 展开更多

关键词 场景图生成 计算机视觉 人工智能 视觉关系检测

在线阅读 下载PDF 职称材料

一种复杂背景下的多车牌图像分割与识别方法 被引量：18

2

作者 梁玮 罗剑锋 +1 位作者 贾云得 刘万春 《北京理工大学学报》 EI CAS CSCD 北大核心 2003年第1期91-94,99,共5页

提出一种复杂背景下的多车牌图像分割和识别方法 .采用统计和特征匹配相结合的方法去除待识别图像中的背景 ,提取可能存在车辆的区域 ;分别对可能的车辆区域进行局部边缘检测 ,并使用车牌的先验知识确定车牌的位置和单个字符分割 ,包括... 提出一种复杂背景下的多车牌图像分割和识别方法 .采用统计和特征匹配相结合的方法去除待识别图像中的背景 ,提取可能存在车辆的区域 ;分别对可能的车辆区域进行局部边缘检测 ,并使用车牌的先验知识确定车牌的位置和单个字符分割 ,包括车牌倾斜时的字符分割 ;使用 PCA和 BP神经网络相结合的方法精确识别车牌 .实验结果表明 ,该方法对复杂背景下多车牌的分割和识别是有效的 . 展开更多

关键词 多车牌图像 车牌识别 图像分割 特征匹配 字符识别 图像识别 边缘检测

在线阅读 下载PDF 职称材料

基于自适应数学形态学的医学图像边缘连接 被引量：12

3

作者 赵于前 桂卫华 +1 位作者 陈真诚 李凌云 《计算机工程》 EI CAS CSCD 北大核心 2006年第22期17-19,共3页

在介绍了数学形态学基本原理的基础上,阐述了自适应数学形态学,并将之应用于有中断间隙的医学图像边缘连接。它根据边缘的斜率、曲率等特性适当调节椭圆结构元素的大小和方向,并通过自适应膨胀运算使得中断的边缘沿着它们的斜率方向延... 在介绍了数学形态学基本原理的基础上,阐述了自适应数学形态学,并将之应用于有中断间隙的医学图像边缘连接。它根据边缘的斜率、曲率等特性适当调节椭圆结构元素的大小和方向,并通过自适应膨胀运算使得中断的边缘沿着它们的斜率方向延伸而最终连接起来。实验结果表明这一方法是有效的。 展开更多

关键词 数学形态学 医学图像 边缘连接 自通应数学形态学

在线阅读 下载PDF 职称材料

一种基于多结构元的弱对比度图像的边缘检测方法 被引量：14

4

作者 徐东燕 付忠良 阮波 《计算机应用》 CSCD 北大核心 2004年第6期108-110,共3页

在工业现场拍摄的图像一般对比度比较低,用传统的边缘检测方法提取的边缘特征不明显。文中提出了一种基于数学形态学的多结构元算子边缘检测的方法,对弱对比度图像进行了边缘检测实验,其结果与Sobel边缘检测算子、传统形态学梯度算子相... 在工业现场拍摄的图像一般对比度比较低,用传统的边缘检测方法提取的边缘特征不明显。文中提出了一种基于数学形态学的多结构元算子边缘检测的方法,对弱对比度图像进行了边缘检测实验,其结果与Sobel边缘检测算子、传统形态学梯度算子相比较,表明提出的检测算子具有检测精度高,噪声不敏感等显著特点。 展开更多

关键词 边缘检测 数学形态学 多方位 多尺度 弱对比度

在线阅读 下载PDF 职称材料

基于改进的尺度不变特征变换特征点匹配的电子稳像算法 被引量：21

5

作者 孟勃 韩广良 《计算机应用》 CSCD 北大核心 2012年第10期2817-2820,共4页

针对传统尺度不变特征变换(SIFT)算法运算量大的问题,提出了一种改进的SIFT特征点匹配算法。首先介绍了SIFT特征向量的提取过程,并对算法进行了改进,在单尺度空间内提取目标的关键点,并形成34维特征向量,来代替传统SIFT算法生成的128维... 针对传统尺度不变特征变换(SIFT)算法运算量大的问题,提出了一种改进的SIFT特征点匹配算法。首先介绍了SIFT特征向量的提取过程,并对算法进行了改进,在单尺度空间内提取目标的关键点,并形成34维特征向量,来代替传统SIFT算法生成的128维特征向量,使算法的实时性得到较大的提高,同时又保持了配准精度,最后将提出的改进SIFT特征应用于电子稳像中的全局运动估计中,并通过实验验证了算法的性能。 展开更多

关键词 电子稳像 全局运动估计 尺度不变特征变换 特征匹配 准确性

在线阅读 下载PDF 职称材料

基于卷积神经网络迭代优化的图像分类算法 被引量：21

6

作者 李鸣 张鸿 《计算机工程与设计》 北大核心 2017年第1期198-202,214,共6页

针对传统卷积神经网络在处理图像分类的问题过程中,需要较长的训练时间、大量的存储空间和计算资源等问题,提出一种基于卷积神经网络迭代优化的图像分类算法。对卷积神经网络进行初始化,在训练网络的过程中,对每层网络单个特征图的输入... 针对传统卷积神经网络在处理图像分类的问题过程中,需要较长的训练时间、大量的存储空间和计算资源等问题,提出一种基于卷积神经网络迭代优化的图像分类算法。对卷积神经网络进行初始化,在训练网络的过程中,对每层网络单个特征图的输入进行BN(batch normalize)处理,得到归一化的数据后再输入到特征图中,采用迭代的方法调整卷积神经网络中的参数并删除低于阀值的连接。实验结果表明,在Mnist、Cifar-10数据集上,经过迭代优化后的卷积神经网络分别提高了0.33%和3.42%的准确率,有效降低了网络中参数的数量,相比原始卷积神经网络中的参数数量分别降低87.94%、85.91%,网络收敛速度更快,减小了网络的训练时间。 展开更多

关键词 卷积神经网络 特征图 网络连接 收敛 阈值

在线阅读 下载PDF 职称材料

基于Snake技术的运动目标轮廓提取 被引量：6

7

作者 聂烜 赵荣椿 沈亚萍 《计算机工程》 EI CAS CSCD 北大核心 2005年第23期148-150,共3页

提出了一种利用改进的Snake技术检测视频序列中活动目标的方法,首先改进内能项,用控制点之间的距离平方和作为弹性能量项以取代传统的长度,并构造局部能量窗搜索最优解,提高了Snake收敛速度。通过改进外部能量项,引入梯度矢量流算子,使S... 提出了一种利用改进的Snake技术检测视频序列中活动目标的方法,首先改进内能项,用控制点之间的距离平方和作为弹性能量项以取代传统的长度,并构造局部能量窗搜索最优解,提高了Snake收敛速度。通过改进外部能量项,引入梯度矢量流算子,使Snake能够较好地收敛到目标的凹形边缘。最后对控制点初始位置、采样密度等影响收敛效果因素的选定作了适当的改进,给出了一种在Snake运动中动态调整其形态以提高收敛效果的策略,使Snake曲线能更快速、更准确地拟合活动物体的真实轮廓。实验证明,该算法能对视频序列图像中的活动目标轮廓进行较好的提取。 展开更多

关键词 背景估计 活动轮廓模型 SNAKE 目标检测

在线阅读 下载PDF 职称材料

基于遗传算法的图像数字水印 被引量：6

8

作者 魏志成 戴居丰 李昊 《计算机工程》 CAS CSCD 北大核心 2007年第17期146-148,共3页

为了提高图像数字水印算法的实用性、顽健性及不可感知性,提出了一种改进的应用遗传算法的水印嵌入和提取方法。通过在DCT变换域中修改AC系数嵌入水印,可以提高嵌入速度,避免水印信息的损失;采用改进的遗传算法选择AC系数,同时优化嵌入... 为了提高图像数字水印算法的实用性、顽健性及不可感知性,提出了一种改进的应用遗传算法的水印嵌入和提取方法。通过在DCT变换域中修改AC系数嵌入水印,可以提高嵌入速度,避免水印信息的损失;采用改进的遗传算法选择AC系数,同时优化嵌入水印后图像质量和顽健性这两个矛盾的因素。仿真结果表明,算法具有良好的抗攻击能力和不可感知性,节省约1/3的时间,提高了程序运行效率。 展开更多

关键词 数字水印 遗传算法 离散余弦变换 适应度函数

在线阅读 下载PDF 职称材料

基于小波包和Zernike矩特征提取的车牌字符识别 被引量：4

9

作者 王润民 钱盛友 +1 位作者 宋平 许慧燕 《计算机工程与应用》 CSCD 北大核心 2007年第14期210-212,共3页

提出了一种基于小波包和Zernike矩特征提取的车牌字符识别方法。首先针对数字字符特殊的字体结构,采用了数学形态学方法进行滤波处理。预处理后,对待识别字符进行三层小波包分解,获取第三层各节点小波包系数;同时对小波包分解后的第二... 提出了一种基于小波包和Zernike矩特征提取的车牌字符识别方法。首先针对数字字符特殊的字体结构,采用了数学形态学方法进行滤波处理。预处理后,对待识别字符进行三层小波包分解,获取第三层各节点小波包系数;同时对小波包分解后的第二层各节点进行重构,并分别计算重构后所得图像的Zernike矩;最后对获得的小波包系数和重构后所得图像的Zernike矩所组成的特征空间进行降维处理,并利用BP神经网络对车牌中的数字进行识别。实验结果表明,该方法效果良好。 展开更多

关键词 字符识别 小波包 ZERNIKE矩 神经网络

在线阅读 下载PDF 职称材料

一种快速图像处理的积分图方法 被引量：13

10

作者 黄文杰 陈斌 《计算机应用》 CSCD 北大核心 2005年第B12期266-268,共3页

在基于图像的人工智能应用系统中,图像处理起着重要的作用。但是,其速度经常不能满足系统的需求,特别是实时系统。文中提出了一种快速图像处理的积分图方法,并且给出它的一些典型应用。它不仅能提高常用的一些空间域图像处理算法的速度... 在基于图像的人工智能应用系统中,图像处理起着重要的作用。但是,其速度经常不能满足系统的需求,特别是实时系统。文中提出了一种快速图像处理的积分图方法,并且给出它的一些典型应用。它不仅能提高常用的一些空间域图像处理算法的速度,而且为图像理解提供了新的特征提取工具。试验结果表明积分图方法比传统的方法性能更好。 展开更多

关键词 图像处理 积分图 空间域滤波 Harr—like特征

在线阅读 下载PDF 职称材料

基于投影坐标p次方差及粒子群的车牌倾斜检测 被引量：6

11

作者 吴一全 张金矿 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2010年第1期114-120,共7页

针对常用的旋转投影车牌倾斜检测算法检测精度不高和计算量大的问题,提出一种基于投影坐标p次方差及粒子群的车牌倾斜检测方法.根据边缘点水平投影纵坐标值的最小p次方差准则确定车牌的倾斜角,以提高车牌倾斜检测精度;然后利用改进的带... 针对常用的旋转投影车牌倾斜检测算法检测精度不高和计算量大的问题,提出一种基于投影坐标p次方差及粒子群的车牌倾斜检测方法.根据边缘点水平投影纵坐标值的最小p次方差准则确定车牌的倾斜角,以提高车牌倾斜检测精度;然后利用改进的带极值扰动简化粒子群算法寻找或直接计算最优倾斜角,以降低检测时间.通过实验研究了p取不同值时对车牌倾斜检测误差和运行时间的影响,并与Hough变换法、旋转投影法及主成分分析法进行了性能比较.结果表明:当p→∞时,文中方法检测精确度最高,而p=2时运算速度最快.该方法已成功地应用于的"智能停车场"系统中. 展开更多

关键词 车牌识别 倾斜检测 投影坐标 p次方差 粒子群

在线阅读 下载PDF 职称材料

三维人脸模型编辑器的设计与实现 被引量：2

12

作者 王洵 宋阳 +1 位作者 董兰芳 陈国良 《小型微型计算机系统》 CSCD 北大核心 2003年第3期585-587,共3页

用计算机生成真实感人脸动画是计算机图形学中最富有挑战性的课题之一 ,建立精细的三维人脸模型是其中的第一步 ,同时也是至关重要的一步 .我们开发了一个三维人脸模型编辑器 ,可以使用该模型编辑器对从 Internet下载的三维人脸模型进... 用计算机生成真实感人脸动画是计算机图形学中最富有挑战性的课题之一 ,建立精细的三维人脸模型是其中的第一步 ,同时也是至关重要的一步 .我们开发了一个三维人脸模型编辑器 ,可以使用该模型编辑器对从 Internet下载的三维人脸模型进行增加、删除、修改等编辑操作 ,从而得到满意的可用的人脸模型 。 展开更多

关键词 三维人脸模型编辑器 设计 计算机图形学 人脸动画 OPENGL

在线阅读 下载PDF 职称材料

一种结合训练样本筛选的SVM图像分割方法 被引量：4

13

作者 薛志东 王燕 隋卫平 《计算机工程与应用》 CSCD 北大核心 2007年第10期55-57,共3页

基于支持向量的图像分割方法一般使用交互方式获取的训练样本,不可避免的在训练样本中引入歧义样本。这些歧义样本严重影响了基于支持向量机图像分割方法的性能。提出一种先对训练样本进行筛选,再进行分类(分割)的支持向量图像分割方法... 基于支持向量的图像分割方法一般使用交互方式获取的训练样本,不可避免的在训练样本中引入歧义样本。这些歧义样本严重影响了基于支持向量机图像分割方法的性能。提出一种先对训练样本进行筛选,再进行分类(分割)的支持向量图像分割方法;并给出了一种基于支持向量机的样本筛选方法,可有效地降低歧义样本的影响。实验表明,经样本筛选的SVM分割方法有更好的分割性能。 展开更多

关键词 支持向量机 样本筛选 图像分割

在线阅读 下载PDF 职称材料

Linux下实时图像传输卡驱动程序的研究与实现 被引量：3

14

作者 王岳环 路自谦 《计算机工程》 EI CAS CSCD 北大核心 2006年第15期271-273,共3页

实时图像传输对许多计算机视觉和图像处理应用都很重要,图像传输卡的实时性在很大程度上取决于驱动程序的高效实现。文章介绍了Linux下驱动程序的体系结构,研究并实现了一种PCI接口的实时图像传输卡在Linux下的驱动程序,通过实验分析了... 实时图像传输对许多计算机视觉和图像处理应用都很重要,图像传输卡的实时性在很大程度上取决于驱动程序的高效实现。文章介绍了Linux下驱动程序的体系结构,研究并实现了一种PCI接口的实时图像传输卡在Linux下的驱动程序,通过实验分析了驱动程序中的一些关键参数对传输性能的影响,并对传输卡在Linux和Windows下的传输速率进行了比较。 展开更多

关键词 LINUX 实时PCI 驱动程序

在线阅读 下载PDF 职称材料

脑图像数据中的独立分量分析方法 被引量：2

15

作者 马斌 陈俊杰 《计算机工程》 CAS CSCD 2014年第3期205-207,共3页

针对脑功能磁共振成像在处理数据时空间维数较大的问题,提出一种空间独立分量分析(ICA)方法。研究空间ICA方法的基本模型结构和空间ICA的3种常见算法,即Infomax算法、Fixed-Point算法和Orth-Infomax算法。设计中文词义辨别实验,并使用... 针对脑功能磁共振成像在处理数据时空间维数较大的问题,提出一种空间独立分量分析(ICA)方法。研究空间ICA方法的基本模型结构和空间ICA的3种常见算法,即Infomax算法、Fixed-Point算法和Orth-Infomax算法。设计中文词义辨别实验,并使用线性相关方法进行算法比较。实验结果表明,与Infomax算法、Fixed-Point算法相比,Orth-Infomax算法任务相关分量的时间序列与参考函数的平均相关系数最大,具有较高的求解质量和求解效率,能够有效处理脑功能磁共振成像系统中存在的大量数据。 展开更多

关键词 脑功能磁共振成像 独立分量分析 一致任务相关成分 正交信息极大化算法 源信号 线性相关

在线阅读 下载PDF 职称材料

主动轮廓线模型中椒盐噪声对snake的影响 被引量：2

16

作者 苑玮琦 马军防 《计算机工程》 CAS CSCD 北大核心 2003年第21期144-145,148,共3页

噪声对snake的影响很大，它的存在很容易使snake陷入局部最小，无法正常收敛到 目标的边缘。通过实验着重分析了“椒盐”噪声对snake行为的影响，从另一个角度揭示了s nake的运行机制。实验结果表明，在图像能量选用图像本身的灰度值的... 噪声对snake的影响很大，它的存在很容易使snake陷入局部最小，无法正常收敛到 目标的边缘。通过实验着重分析了“椒盐”噪声对snake行为的影响，从另一个角度揭示了s nake的运行机制。实验结果表明，在图像能量选用图像本身的灰度值的前提下，“椒”噪声 对snake的影响较小，而“盐”噪声对snake的影响却很大，它的存在严重阻碍了snake的正 常收敛。 展开更多

关键词 主动轮廓线 SNAKE 椒盐噪声

在线阅读 下载PDF 职称材料

小波模极大值在图像消噪中的应用 被引量：6

17

作者 刘钺 《计算机工程》 CAS CSCD 北大核心 2011年第6期200-202,共3页

提出利用小波模极大值进行图像消噪方法,对含噪声图像进行离散平稳小波变换和噪声标准差的估计,在Bayes-shrink阈值计算的基础上,得到消噪的阈值计算公式。对各尺度各子带的小波系数模极大值进行判断,获得由图像边缘产生的小波系数,使... 提出利用小波模极大值进行图像消噪方法,对含噪声图像进行离散平稳小波变换和噪声标准差的估计,在Bayes-shrink阈值计算的基础上,得到消噪的阈值计算公式。对各尺度各子带的小波系数模极大值进行判断,获得由图像边缘产生的小波系数,使用自适应多阈值的方法在小波各尺度、各子带萎缩非图像边缘产生的小波系数。经平稳小波逆变换得到消噪后的图像。实验结果表明,与以前消噪方法相比,该方法具有更好的效果。 展开更多

关键词 平稳小波变换 模极大值 萎缩 消噪 清晰度

在线阅读 下载PDF 职称材料

基于E-HMM的指纹匹配研究 被引量：1

18

作者 郭浩 《计算机工程》 EI CAS CSCD 北大核心 2006年第12期193-195,共3页

利用嵌入式隐马尔可夫模型(Embedded Hidden Markov Models,E-HMM)对指纹方向场进行建模分析,通过合理地抽取指纹的类型特征,构造观察向量、进行建模训练,然后利用训练好的马尔可夫模型进行匹配,提出并实现了一种新的鲁棒性强且精度较... 利用嵌入式隐马尔可夫模型(Embedded Hidden Markov Models,E-HMM)对指纹方向场进行建模分析,通过合理地抽取指纹的类型特征,构造观察向量、进行建模训练,然后利用训练好的马尔可夫模型进行匹配,提出并实现了一种新的鲁棒性强且精度较高的指纹匹配方法。 展开更多

关键词 指纹识别 指纹匹配 HMM 方向场

在线阅读 下载PDF 职称材料

复杂道路环境下车辆视频快速识别系统研究 被引量：1

19

作者 阴国富 《科学技术与工程》 2009年第13期3893-3896,共4页

提出一种基于WLAN无线局域网的车辆移动视频快速识别系统架构,由AP连接周边的无线网络终端,形成星形网络结构,使整个无线网的终端都能获得实时视频,从而克服了有线监控系统不可移动以及系统难以扩展、不易设置和维护等缺点,为在偏远和... 提出一种基于WLAN无线局域网的车辆移动视频快速识别系统架构,由AP连接周边的无线网络终端,形成星形网络结构,使整个无线网的终端都能获得实时视频,从而克服了有线监控系统不可移动以及系统难以扩展、不易设置和维护等缺点,为在偏远和复杂道路环境下监控实施带来了极大方便.同时,将Boosting算法应用在动态车型图像检测系统中,仿真实验表明大大提高了对运动过程中车辆的识别监测能力、改变了传统车型识别方式,对智能交通系统的发展起着积极的推动作用。 展开更多

关键词 无线局域网 识别率 分类器 车型识别

在线阅读 下载PDF 职称材料

基于凸优化的脑图像数据盲信号分离算法

20

作者 冯宝 秦传波 《计算机工程》 CAS CSCD 北大核心 2015年第8期233-237,共5页

在实际脑图像分析中,独立成分分析方法的独立性假设很难完全满足。为此,结合脑图像数据的特点,以凸优化为基础,提出利用源分量稀疏性和非负性的脑图像盲信号分离算法。相比于独立性假设,稀疏性和非负性数学假设更符合f MRI数据的自然特... 在实际脑图像分析中,独立成分分析方法的独立性假设很难完全满足。为此,结合脑图像数据的特点,以凸优化为基础,提出利用源分量稀疏性和非负性的脑图像盲信号分离算法。相比于独立性假设,稀疏性和非负性数学假设更符合f MRI数据的自然特性。将源分量的估计过程转化为寻找由观测数据构成的凸集合端点的过程。实验结果证明,由该算法选择出的激活体素与实验任务更相关,更容易进行生理解释。 展开更多

关键词 盲信号分离 功能核磁共振成像 独立成分分析 凸优化 体素选择 脑激活区定位

在线阅读 下载PDF 职称材料