期刊文献+
共找到13篇文章
< 1 >
每页显示 20 50 100
高效还原式二值神经网络
1
作者 曾凯 万子鑫 +1 位作者 王铭涛 沈韬 《电子学报》 北大核心 2025年第2期568-580,共13页
将权重分布、激活分布和梯度尽可能地还原为原始全精度网络数据,能够极大提高二值网络的推理能力.然而,现有方法将正向传播中的还原操作直接作用于二值数据,同时用以控制反向传播的梯度近似函数均为固定或手动方式确定,导致二值网络的... 将权重分布、激活分布和梯度尽可能地还原为原始全精度网络数据,能够极大提高二值网络的推理能力.然而,现有方法将正向传播中的还原操作直接作用于二值数据,同时用以控制反向传播的梯度近似函数均为固定或手动方式确定,导致二值网络的还原效率有待改进.针对这一问题,构建了高效还原式二值神经网络.首先提出面向信息熵最大的分布恢复方法,通过对原始全精度权重均值平移和模长缩放,使量化后的二值权重直接具备分布最大还原特性,同时采用基于简单统计的平移和缩放因子,极大提高了权重和激活的还原效率;进一步提出基于自适应分布近似的梯度函数,根据当前全精度数据的实际分布,以P分位动态确定当前梯度的更新范围,进而自适应改变近似函数的形状,使训练过程中的梯度得到高效更新,从而提高了模型的收敛能力.在保证执行效率提升的前提下,通过理论分析证实了本文方法能够使二值数据达到最大程度还原.与当前现有的先进二值网络模型相比本文方法实验结果表现优异,其中针对ResNet-18和ResNet-20量化的分布还原操作计算时间开销分别下降了60%和67%;同时在CIFAR-10数据集上针对VGG-Small二值量化取得93.0%的准确率,在ImageNet数据集上针对ResNet-18二值量化取得61.9%的准确率,均为当前二值神经网络的最佳性能表现.相关代码开源在https://github.com/sjmp525/IA/tree/ER-BNN. 展开更多
关键词 二值神经网络 信息还原 信息熵最大 自适应梯度
在线阅读 下载PDF
基于轻量化二值神经网络的钢铁表面缺陷分类
2
作者 卓晨涛 吴丽君 《光电子技术》 2024年第4期317-323,共7页
基于二值化网络提出了轻量二值化钢铁缺陷分类网络(Lightweight Binarized Steel Defect Classification Network,LBSDC-Net),以期实现实时高精度的钢铁缺陷自动分类。首先,基于可变阈值符号函数和组卷积的理念,设计了双阈值型组卷积模... 基于二值化网络提出了轻量二值化钢铁缺陷分类网络(Lightweight Binarized Steel Defect Classification Network,LBSDC-Net),以期实现实时高精度的钢铁缺陷自动分类。首先,基于可变阈值符号函数和组卷积的理念,设计了双阈值型组卷积模块,以在压缩网络模型的同时最小化二值组卷积引起的信息损失,将基础网络模型大小降低了31.2%,精度仅下降0.34%;其次,通过调整下采样卷积的步长并结合最大池化,降低了残差网络中捷径分支下采样时的信息损失,提升了网络的分类性能;在NEU-CLS钢铁缺陷数据集上的实验结果表明,网络模型大小为11.86 MBit时,LBSDC-Net网络在钢铁缺陷分类任务中准确率达到99.06%。相较于基础网络Bi-Real-Net98.73%的准确率和17.23 MBit的网络模型大小,LBSDC-Net实现了网络规模的有效压缩,还提升了分类精度。 展开更多
关键词 二值神经网络 轻量化 深度学习 钢铁缺陷 分类
在线阅读 下载PDF
基于自适应梯度优化的二值神经网络 被引量:1
3
作者 王子为 鲁继文 周杰 《电子学报》 EI CAS CSCD 北大核心 2023年第2期257-266,共10页
二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似(Straight-Through Estimator)和S型近似(Sigmoid)等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题:(1)由于... 二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似(Straight-Through Estimator)和S型近似(Sigmoid)等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题:(1)由于松弛函数和量化算子的差异导致的梯度失配;(2)由于激活值饱和引起的梯度消失.量化函数自身的特性使二值网络梯度的准确性和有效性无法同时保证.本文提出了基于自适应梯度优化的二值神经网络(Adaptive Gradient based Binary Neural Networks,AdaBNN),其通过自适应地寻找梯度准确性和有效性之间的最佳平衡来解决梯度失配和梯度消失的问题.具体而言,本文从理论上证明了梯度准确性和有效性之间的矛盾,并通过比较松弛梯度的范数和松弛梯度与真实梯度之间的差距,构建了这一平衡的度量标准.因此,二值神经网络能根据所提出的度量调整松弛函数,从而得到有效训练.在ImageNet数据集上的实验表明,本文的方法相较于被广泛使用的BNN网络将top-1准确率提升了17.1%. 展开更多
关键词 二值神经网络 梯度饱和 梯度失配 自适应梯度 图像分类
在线阅读 下载PDF
基于误差模型的权重二值神经网络近似加速 被引量:1
4
作者 朱新忠 程利甫 +2 位作者 吴有余 林闽佳 胡汝豪 《上海航天(中英文)》 CSCD 2021年第4期25-30,共6页
针对智能识别系统精确度和硬件复杂度之间的均衡设计问题,提出了一种基于误差统计模型的权重二值神经网络近似加速方法。在提出了一种获得高精度轻量神经网络的权重二值化处理算法基础上,引入近似加法器、消除乘法器以进一步提高能效。... 针对智能识别系统精确度和硬件复杂度之间的均衡设计问题,提出了一种基于误差统计模型的权重二值神经网络近似加速方法。在提出了一种获得高精度轻量神经网络的权重二值化处理算法基础上,引入近似加法器、消除乘法器以进一步提高能效。最终提出了一种系统级误差统计模型用于系统评估和优化设计,该设计能够分析和预测权重二值神经网络近似加速系统的最终精度。结果表明:该模型可以准确地预测系统精度,与仿真结果对比,相对误差在2.05%~3.07%。该模型预测用于指导相应软硬件的设计优化,可大幅提高设计的迭代速度。 展开更多
关键词 近似计算 近似加法器 高能效计算 统计误差模型 权重神经网络
在线阅读 下载PDF
IR-GCN:二值图卷积神经网络推理加速器
5
作者 于启航 文渊博 杜子东 《高技术通讯》 CAS 北大核心 2024年第10期1024-1035,共12页
针对图卷积神经网络(GCN)中数据规模庞大、不适合边缘端低功耗处理器高效推理计算的问题,本文提出一种将新型二值数据量化算法(IR-Net)应用于GCN模型推理计算的方法,并设计了对应的硬件加速器IR-GCN。同时,针对计算过程中工作负载分布... 针对图卷积神经网络(GCN)中数据规模庞大、不适合边缘端低功耗处理器高效推理计算的问题,本文提出一种将新型二值数据量化算法(IR-Net)应用于GCN模型推理计算的方法,并设计了对应的硬件加速器IR-GCN。同时,针对计算过程中工作负载分布不均衡的问题,实现了一种负载均衡模块设计,显著提高了计算效率。实验结果表明,在较小精度损失范围内,IR-GCN加速器可以同时降低计算延迟以及访存开销。与现有性能最优的研究相比,IR-GCN加速器平均具有2.4倍的计算加速比、7.9倍的功耗降低、13.7倍的芯片面积减少以及21.0倍的访存量降低。 展开更多
关键词 图卷积神经网络(GCN) 二值神经网络(BNN) 硬件加速器
在线阅读 下载PDF
Bi-SCNN:二值随机混合神经网络加速器
6
作者 于启航 文渊博 杜子东 《高技术通讯》 北大核心 2024年第12期1243-1255,共13页
二值神经网络(BNN)具有硬件友好的特性,但为了保证计算精度,在输入层仍需要使用浮点或定点计算,增加了硬件开销。针对该问题,本文将另一种同样具有硬件友好特性的随机计算方法应用于BNN,实现了BNN输入层的高效计算,并设计了二值随机混... 二值神经网络(BNN)具有硬件友好的特性,但为了保证计算精度,在输入层仍需要使用浮点或定点计算,增加了硬件开销。针对该问题,本文将另一种同样具有硬件友好特性的随机计算方法应用于BNN,实现了BNN输入层的高效计算,并设计了二值随机混合计算架构Bi-SCNN。首先,在BNN输入层使用高精度的随机运算单元,实现了与定点计算近似的精度;其次,通过在处理单元(PE)内和PE间2个层次对随机数生成器进行复用,并优化运算单元,有效降低了硬件开销;最后,根据输入数据的特性对权值配置方式进行优化,进而降低了整体计算延迟。相比于现有性能最优的BNN加速器,Bi-SCNN在保证计算精度的前提下,实现了2.4倍的吞吐量、12.6倍的能效比和2.2倍的面积效率提升,分别达到2.2 TOPS、7.3 TOPS·W^(-1)和1.8 TOPS·mm^(-2)。 展开更多
关键词 二值神经网络(BNN) 随机计算(SC) 神经网络加速器
在线阅读 下载PDF
二值VGG卷积神经网络加速器优化设计 被引量:5
7
作者 张旭欣 张嘉 +1 位作者 李新增 金婕 《电子技术应用》 2021年第2期20-23,共4页
基于FPGA的二值卷积神经网络加速器研究大多是针对小尺度的图像输入,而实际应用主要以YOLO、VGG等大尺度的卷积神经网络作为骨干网络。通过从网络拓扑、流水线等层面对卷积神经网络硬件进行优化设计,从而解决逻辑资源以及性能瓶颈,实现... 基于FPGA的二值卷积神经网络加速器研究大多是针对小尺度的图像输入,而实际应用主要以YOLO、VGG等大尺度的卷积神经网络作为骨干网络。通过从网络拓扑、流水线等层面对卷积神经网络硬件进行优化设计,从而解决逻辑资源以及性能瓶颈,实现输入尺度更大、网络层次更深的二值VGG神经网络加速器。采用CIFAR-10数据集对基于FPGA的VGG卷积神经网络加速器优化设计进行验证,实验结果表明系统实现了81%的识别准确率以及219.9 FPS的识别速度,验证了优化方法的有效性。 展开更多
关键词 优化设计 卷积神经网络 FPGA加速器
在线阅读 下载PDF
基于轻量级深度神经网络的电磁信号调制识别技术 被引量:40
8
作者 张思成 林云 +1 位作者 涂涯 Shiwen Mao 《通信学报》 EI CSCD 北大核心 2020年第11期12-21,共10页
针对6G时代将会是移动通信与人工智能紧密结合的时代,产生数量庞大的边缘智能信号处理节点的趋势,提出了一种可部署于资源受限的边缘设备上的高效智能电磁信号识别模型。首先,通过绘制电磁信号的星座图将电磁信号具象为二维图像,并根据... 针对6G时代将会是移动通信与人工智能紧密结合的时代,产生数量庞大的边缘智能信号处理节点的趋势,提出了一种可部署于资源受限的边缘设备上的高效智能电磁信号识别模型。首先,通过绘制电磁信号的星座图将电磁信号具象为二维图像,并根据归一化点密度对星座图上色以实现特征增强;然后,使用二值化深度神经网络对其进行识别,在保证识别准确率的同时明显降低了模型存储开销以及计算开销。采用电磁信号调制识别问题进行验证,实验选取常用的8种数字调制信号,选择加性高斯白噪声为信道环境。实验结果表明,所提方案可以在信噪比为-6~6 d B的噪声条件下获得96.1%的综合识别率,网络模型大小仅为166 KB,部署于树莓派4B的执行时间为290 ms,相比于同规模的全精度网络,准确率提升了0.6%,模型缩减到1/26.16,运行时间缩减到1/2.37。 展开更多
关键词 6G 边缘智能 电磁信号调制识别 图像具象化 化深度神经网络
在线阅读 下载PDF
基于三值向二值演化的BNN剪枝方法
9
作者 徐图 张博 +4 位作者 李镇 陈怡凝 申人升 熊波涛 常玉春 《吉林大学学报(信息科学版)》 CAS 2024年第2期356-365,共10页
针对目前BNN(Binarized Neural Network)剪枝方法存在剪枝比例低、识别准确率显著下降以及依赖训练后微调的问题,提出了一种基于三值向二值演化的滤波器级的BNN剪枝方法,命名为ETB(Evolution from Ternary to Binary)。ETB是基于学习的... 针对目前BNN(Binarized Neural Network)剪枝方法存在剪枝比例低、识别准确率显著下降以及依赖训练后微调的问题,提出了一种基于三值向二值演化的滤波器级的BNN剪枝方法,命名为ETB(Evolution from Ternary to Binary)。ETB是基于学习的,通过在BNN的量化函数中引入可训练的量化阈值,使权重和激活值逐渐从三值演化到二值或零,旨在使网络在训练期间自动识别不重要的结构。此外,一个剪枝率调节算法也被设计用于调控网络的剪枝率。训练后,全零滤波器和对应的输出通道可被直接裁剪而获得精简的BNN,无需微调。为证明提出方法的可行性和其提升BNN推理效率而不牺牲准确率的潜力,在CIFAR-10上进行实验:在CIFAR-10数据集上,ETB对VGG-Small模型进行了46.3%的剪枝,模型大小压缩至0.34 MByte,准确率为89.97%,并在ResNet-18模型上进行了30.01%的剪枝,模型大小压缩至1.33 MByte,准确率为90.79%。在准确率和参数量方面,对比一些现有的BNN剪枝方法,ETB具有一定的优势。 展开更多
关键词 二值神经网络 剪枝 可训练门限 演化
在线阅读 下载PDF
基于BNN-RA模型的风电机组轴承故障诊断研究
10
作者 余萍 宋紫琼 +1 位作者 曹洁 陈息良 《太阳能学报》 北大核心 2025年第3期643-651,共9页
针对风电机组轴承故障诊断中特征提取困难,模型迭代速度慢,精度低的问题,该文提出一种基于改进二值化神经网络(BNN)的风电机组轴承故障诊断方法。首先采用格拉姆角场(GAF)将轴承振动信号转换为二维图像,以提高特征提取精度,然后结合深... 针对风电机组轴承故障诊断中特征提取困难,模型迭代速度慢,精度低的问题,该文提出一种基于改进二值化神经网络(BNN)的风电机组轴承故障诊断方法。首先采用格拉姆角场(GAF)将轴承振动信号转换为二维图像,以提高特征提取精度,然后结合深度残差网络和注意力机制构建BNN-RA(BNN+Residual Network+Spatial attention network structure)故障诊断模型,实现轴承的高效故障诊断,最终通过美国凯斯西储大学(CWRU)与江南大学(JNU)公开的轴承数据集进行方法有效性验证。结果表明,该方法可有效提高网络迭代速度和诊断精度,模型在CWRU轴承数据集单一工况下迭代11次可达到收敛,故障诊断准确率达到99.20%,在两数据集的不同工况下平均准确率可达98.46%与97.6%。 展开更多
关键词 风电机组 故障诊断 轴承 神经网络 格拉姆角场
在线阅读 下载PDF
高能效低延迟的BNN硬件加速器设计
11
作者 周培培 杜高明 +1 位作者 李桢旻 王晓蕾 《合肥工业大学学报(自然科学版)》 CAS 北大核心 2024年第12期1655-1661,共7页
针对二值化神经网络(binary neural network,BNN)硬件设计过程中大量0值引发计算量增加以及BNN中同一权值数据与同一特征图数据多次重复运算导致计算周期和计算功耗增加的问题,文章分别提出全0值跳过方法和预计算结果缓存方法,有效减少... 针对二值化神经网络(binary neural network,BNN)硬件设计过程中大量0值引发计算量增加以及BNN中同一权值数据与同一特征图数据多次重复运算导致计算周期和计算功耗增加的问题,文章分别提出全0值跳过方法和预计算结果缓存方法,有效减少网络的计算量、计算周期和计算功耗;并基于现场可编程门阵列(field programmable gate array,FPGA)设计一款BNN硬件加速器,即手写数字识别系统。实验结果表明,使用所提出的全0值跳过方法和预计算结果缓存方法后,在100 MHz的频率下,设计的加速器平均能效可达1.81 TOPs/W,相较于其他BNN加速器,提升了1.27~4.34倍。 展开更多
关键词 神经网络(BNN) 共享 重复运算 现场可编程门阵列(FPGA) 硬件加速器
在线阅读 下载PDF
一种基于BNN的行人再识别方法 被引量:1
12
作者 曹立宇 方向忠 《信息技术》 2018年第12期129-133,共5页
为解决交通监控中对不同摄像头之间行人和非机动车辆的再识别问题,并且能够满足识别场景中的实时性要求,文中介绍了一种基于二值神经网络(BNN)的行人再识别方法。该方法首先利用Res Net网络提取目标行人的特征,再通过两个全连接层将特... 为解决交通监控中对不同摄像头之间行人和非机动车辆的再识别问题,并且能够满足识别场景中的实时性要求,文中介绍了一种基于二值神经网络(BNN)的行人再识别方法。该方法首先利用Res Net网络提取目标行人的特征,再通过两个全连接层将特征转换到同一尺度下利用欧式距离作为度量矩阵,计算出查询集中所有图片与给定目标图片的相似程度并排序,从而实现行人再识别的任务。实验结果表明,BNN在测试集上top1准确率达到71. 5%,平均准确率(map)达到84. 9%,比全精度网络的结果损失了4. 8%的map,但是节省了约50%的计算消耗,内存消耗也只需要1/32。 展开更多
关键词 行人再识别 深度学习 二值神经网络
在线阅读 下载PDF
An Automated Approach to Passive Sonar Classification Using Binary Image Features
13
作者 Vahid Vahidpour Amlr Rastegarnia Azam Khalili 《Journal of Marine Science and Application》 CSCD 2015年第3期327-333,共7页
This paper proposes a new method for ship recognition and classification using sound produced and radiated underwater. To do so, a three-step procedure is proposed. First, the preprocessing operations are utilized to ... This paper proposes a new method for ship recognition and classification using sound produced and radiated underwater. To do so, a three-step procedure is proposed. First, the preprocessing operations are utilized to reduce noise effects and provide signal for feature extraction. Second, a binary image, made from frequency spectrum of signal segmentation, is formed to extract effective features. Third, a neural classifier is designed to classify the signals. Two approaches, the proposed method and the fractal-based method are compared and tested on real data. The comparative results indicated better recognition ability and more robust performance of the proposed method than the fractal-based method. Therefore, the proposed method could improve the recognition accuracy of underwater acoustic targets. 展开更多
关键词 binary image passive sonar neural classifier ship recognition short-time Fourier transform fractal-based method
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部