It is shown that the polynomials based image registration, which is widely used in remote sensing field, does not have a sound mathematical basis. In fact, there seems no theoretical basis for the polynomials based tr...It is shown that the polynomials based image registration, which is widely used in remote sensing field, does not have a sound mathematical basis. In fact, there seems no theoretical basis for the polynomials based transform to outperform the affine transformation, a much simpler one,in image registration. If the transformation functions are polynomials of order n, the corresponding scene is shown to be in general the intersection of two curved surfaces of order n + 1, in other words,a space curve. In some special cases, the scene is approaching to a plane. To our knowledge, such results did not appear in the literature previously.展开更多
为了提高锂离子电池健康状态(state of health,SOH)估计的精确度,本研究结合卷积神经网络(convolutional neural networks,CNN)强大的局部特征提取能力和Transformer的序列处理能力,提出了基于多项式特征扩展的CNN-Transformer融合模型...为了提高锂离子电池健康状态(state of health,SOH)估计的精确度,本研究结合卷积神经网络(convolutional neural networks,CNN)强大的局部特征提取能力和Transformer的序列处理能力,提出了基于多项式特征扩展的CNN-Transformer融合模型。该方法提取了与电池容量高度相关的增量容量(incremental capacity,IC)曲线峰值、IC曲线对应电压、面积及充电时间作为健康因子,然后将其进行多项式扩展,增加融合模型对输入特征的非线性处理能力。引入主成分分析法(principal component analysis,PCA)对特征空间进行降维,有利于捕获数据有效信息,减少模型训练时间。采用美国国家宇航局(National Aeronautics and Space Administration,NASA)数据集和马里兰大学数据集,通过加入多项式特征前后的CNN-Transformer模型对比、加入多项式特征的CNN-Transformer模型和单一模型算法对比,验证了加入多项式特征的CNN-Transformer融合算法的有效性和精确度,结果表明提出模型的SOH估计精度相较于未加入多项式特征的CNN-Transformer模型,对于B0005、B0006、B0007、B0018数据集分别提高了38.71%、50.28%、4.71%、17.58%。展开更多
基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swis...基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.展开更多
针对受非零均值高斯噪声干扰的双率Hammerstein输出误差系统,提出一种基于偏差补偿的递推最小二乘(bias compensation based recursive least squares,BCRLS)辨识算法。首先,利用多项式变换技术将目标系统转换为可直接采用双率采样数据...针对受非零均值高斯噪声干扰的双率Hammerstein输出误差系统,提出一种基于偏差补偿的递推最小二乘(bias compensation based recursive least squares,BCRLS)辨识算法。首先,利用多项式变换技术将目标系统转换为可直接采用双率采样数据进行辨识的模型,并利用递推最小二乘(recursive least squares,RLS)算法进行辨识。其次,为了对RLS算法给出的有偏参数估计进行有效补偿,在偏差补偿原理的基础上,通过引入非奇异矩阵和扩展信息向量求解偏差项中的参数,推导得到BCRLS辨识算法。最后,通过数值仿真实验表明,BCRLS算法能够获得双率Hammerstein输出误差系统的无偏参数估计;且具有较强的鲁棒性,其辨识精度不容易受到噪声均值和方差变化的影响。展开更多
有理函数模型(Rational Function Model,RFM)作为光学卫星遥感影像几何处理的一种主要模型,其平差方法一直是卫星摄影测量研究的重点。文章在常规的像方平差方案基础上提出RFM迭代平差方法,先用仿射变换多项式消除内外方位元素引起的像...有理函数模型(Rational Function Model,RFM)作为光学卫星遥感影像几何处理的一种主要模型,其平差方法一直是卫星摄影测量研究的重点。文章在常规的像方平差方案基础上提出RFM迭代平差方法,先用仿射变换多项式消除内外方位元素引起的像方定位误差,再连续使用傅里叶多项式逐步消除影像复杂畸变,通过两者结合提升对影像系统误差的综合补偿能力。通过对ZY-3和GF-7两种国产卫星遥感影像进行实验,结果显示:RFM定位精度随迭代平差次数的增加而提高,经过3次平差后中误差逐渐收敛。相比一次平差结果,迭代平差后ZY-3影像的平面和高程定位中误差降低了8%和13%,GF-7影像的平面和高程定位中误差降低了12%和30%,所生成的RPC参数可更好地满足高精度定位需求。展开更多
基金Supported by National Natural Science Foundation of P. R. China (60175009, 60121302) Corresponding author:Hu Zhan-Yi
文摘It is shown that the polynomials based image registration, which is widely used in remote sensing field, does not have a sound mathematical basis. In fact, there seems no theoretical basis for the polynomials based transform to outperform the affine transformation, a much simpler one,in image registration. If the transformation functions are polynomials of order n, the corresponding scene is shown to be in general the intersection of two curved surfaces of order n + 1, in other words,a space curve. In some special cases, the scene is approaching to a plane. To our knowledge, such results did not appear in the literature previously.
文摘为了提高锂离子电池健康状态(state of health,SOH)估计的精确度,本研究结合卷积神经网络(convolutional neural networks,CNN)强大的局部特征提取能力和Transformer的序列处理能力,提出了基于多项式特征扩展的CNN-Transformer融合模型。该方法提取了与电池容量高度相关的增量容量(incremental capacity,IC)曲线峰值、IC曲线对应电压、面积及充电时间作为健康因子,然后将其进行多项式扩展,增加融合模型对输入特征的非线性处理能力。引入主成分分析法(principal component analysis,PCA)对特征空间进行降维,有利于捕获数据有效信息,减少模型训练时间。采用美国国家宇航局(National Aeronautics and Space Administration,NASA)数据集和马里兰大学数据集,通过加入多项式特征前后的CNN-Transformer模型对比、加入多项式特征的CNN-Transformer模型和单一模型算法对比,验证了加入多项式特征的CNN-Transformer融合算法的有效性和精确度,结果表明提出模型的SOH估计精度相较于未加入多项式特征的CNN-Transformer模型,对于B0005、B0006、B0007、B0018数据集分别提高了38.71%、50.28%、4.71%、17.58%。
文摘基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.
文摘针对受非零均值高斯噪声干扰的双率Hammerstein输出误差系统,提出一种基于偏差补偿的递推最小二乘(bias compensation based recursive least squares,BCRLS)辨识算法。首先,利用多项式变换技术将目标系统转换为可直接采用双率采样数据进行辨识的模型,并利用递推最小二乘(recursive least squares,RLS)算法进行辨识。其次,为了对RLS算法给出的有偏参数估计进行有效补偿,在偏差补偿原理的基础上,通过引入非奇异矩阵和扩展信息向量求解偏差项中的参数,推导得到BCRLS辨识算法。最后,通过数值仿真实验表明,BCRLS算法能够获得双率Hammerstein输出误差系统的无偏参数估计;且具有较强的鲁棒性,其辨识精度不容易受到噪声均值和方差变化的影响。
文摘有理函数模型(Rational Function Model,RFM)作为光学卫星遥感影像几何处理的一种主要模型,其平差方法一直是卫星摄影测量研究的重点。文章在常规的像方平差方案基础上提出RFM迭代平差方法,先用仿射变换多项式消除内外方位元素引起的像方定位误差,再连续使用傅里叶多项式逐步消除影像复杂畸变,通过两者结合提升对影像系统误差的综合补偿能力。通过对ZY-3和GF-7两种国产卫星遥感影像进行实验,结果显示:RFM定位精度随迭代平差次数的增加而提高,经过3次平差后中误差逐渐收敛。相比一次平差结果,迭代平差后ZY-3影像的平面和高程定位中误差降低了8%和13%,GF-7影像的平面和高程定位中误差降低了12%和30%,所生成的RPC参数可更好地满足高精度定位需求。
