基于改进YOLOv5s的离线手写数学符号识别 被引量：2

1

作者 方洪波 万广 +3 位作者 陈忠辉 黄以卫 张文勇 谢本亮 《图学学报》 CSCD 北大核心 2022年第3期387-395,共9页

离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别,对离线表达式识别的其他环节未有任何帮助,反而会限制表达式识别,提出一种改进YOLOv5s的离线符号识别方法。首先,根据符号图像小的特点... 离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别,对离线表达式识别的其他环节未有任何帮助,反而会限制表达式识别,提出一种改进YOLOv5s的离线符号识别方法。首先,根据符号图像小的特点,用生成对抗网络(GAN)进行数据增强;其次,从符号类别的角度分析,在YOLOv5s模型中引入空间注意力机制,利用全局最大值和全局平均值池化,扩大类别间的差异特征;最后,从符号自身角度分析,引入双向长短期记忆网络(BiLSTM)对符号特征矩阵进行处理,使符号特征具有上下相关联的信息。实验结果表明:改进后的YOLOv5s取得较好离线符号识别效果,有92.47%的识别率,与其他方法进行对比,证明了其有效性和稳健性。同时,能有效避免离线数学表达式识别中错误累积的问题,且能为表达式的结构分析提供有效依据。 展开更多

关键词 离线手写数学符号识别 数据增强 生成对抗网络 空间注意力机制 双向长短期记忆网络

在线阅读 下载PDF 职称材料

HchMER:混合人机智能的手写数学表达式识别方法

2

作者 康文惠 黄进 +3 位作者 仝青山 付强 田丰 戴国忠 《软件学报》 北大核心 2025年第2期915-938,共24页

随着人工智能和端到端识别方法在手写数学表达式识别上的应用,数学表达式识别准确率有了明显的提高.然而,与公开数据集上的测试不同,实际应用中人的参与为识别算法引入了更多的不确定因素,如个性化的笔画信息、包含歧义的手写字符,以及... 随着人工智能和端到端识别方法在手写数学表达式识别上的应用,数学表达式识别准确率有了明显的提高.然而,与公开数据集上的测试不同,实际应用中人的参与为识别算法引入了更多的不确定因素,如个性化的笔画信息、包含歧义的手写字符,以及不确定的公式结构等,影响了识别算法的性能.为此,提出了一种混合人机智能的手写数学表达式识别方法HchMER.该方法借助手写数学公式识别算法、知识库和用户反馈,增强机器对用户输入的数学表达式的理解,从而提升手写数学表达式的编辑速度和准确率.为了验证HchMER的有效性,将其分别与MyScript Math Recognition(MyScript)算法,以及一个成熟的商用产品“Microsoft Ink Equation”(InkEquation)进行了比较.实验结果表明,HchMER在准确率上较MyScript和InkEquation分别提高了23.2%和26.51%.在平均完成时间上,HchMER比MyScript增加了44.46%(9.6 s),但是比InkEquation降低了11.48%(4.05 s).同时,被试在问卷调查和半结构化访谈中对HchMER给予了肯定. 展开更多

关键词 人机混合智能 草图理解 在线手写数学表达式识别 用户界面

在线阅读 下载PDF 职称材料

基于多尺度特征融合的互学习脱机手写数学公式识别 被引量：1

3

作者 付鹏斌 徐宇 杨惠荣 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第2期23-31,共9页

脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中... 脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中细粒度信息的提取能力以及加强对全局二维结构的语义信息理解;其次,引入了成对的手写体、打印体数据来进行互学习模型的训练,该模型包括解码器损失和上下文匹配损失,分别学习LaTeX语法以及手写体、打印体之间的语义不变性,提高模型对不同书写风格的鲁棒性,提升对公式整体信息的理解能力。在CROHME 2014/2016/2019数据集上进行实验验证,结果发现:引入多尺度特征融合机制后,表达式正确率分别达到55.25%、52.31%、53.72%;引入互学习机制后,表达式正确率分别达到55.43%、53.53%、53.79%;同时引入两种机制后,表达式正确率分别达到58.88%、55.10%、57.05%。经实验证明,文中提出的方法能够有效提取公式中不同尺度下的特征,并通过互学习机制克服手写风格不一、数据量少等问题。此外,在HME100K数据集上的实验结果也验证了文中提出模型的有效性。 展开更多

关键词 手写数学公式识别 脱机模式 手写体 打印体 语义不变性

在线阅读 下载PDF 职称材料

一种基于编码的识别手写数学符号方法 被引量：1

4

作者 张显全 《计算机工程》 CAS CSCD 北大核心 2001年第4期112-113,共2页

提出了一种对手写数学符号的识别方法。通过对数学符号的图象进行处理,然后对其进行编码,并采用模糊识别方法建立了识别函数,根据这一函数以求最佳匹配。试验结果表明,该方法有良好的识别性能。

关键词 手写数学符号 识别 编码 图象处理 计算机

在线阅读 下载PDF 职称材料

基于HTM的离线手写签名识别及改进 被引量：5

5

作者 陈雪 朱敏 +1 位作者 钟煜 范量 《四川大学学报（工程科学版）》 EI CAS CSCD 北大核心 2011年第S1期146-150,共5页

现有离线签名识别的方法主要存在识别率低的缺陷,如何进一步提高签名识别率是目前该项研究的核心问题这一。提出一种基于层次时间记忆(Hierarchical Temporal Memory,HTM)的离线签名识别系统,并结合签名样本的时空特征,对离线签名进行... 现有离线签名识别的方法主要存在识别率低的缺陷,如何进一步提高签名识别率是目前该项研究的核心问题这一。提出一种基于层次时间记忆(Hierarchical Temporal Memory,HTM)的离线签名识别系统,并结合签名样本的时空特征,对离线签名进行有效处理和识别。实验结果证明,该方法的识别率可达95%,并对签名的移动与缩放有较好的识别效果。还结合算法中的maxdistance参数对识别结果进行分析和改进。 展开更多

关键词 离线签名 手写签名识别 分层时序记忆 时空特征

在线阅读 下载PDF 职称材料

离线手写汉字识别的并行实现 被引量：1

6

作者 邵秀丽 刘璟 范志强 《计算机工程》 CAS CSCD 北大核心 1999年第10期23-25,共3页

汉字识别属于大类别模式识别问题，用并行算法可望提高在单机环境下识别离线手写汉字图象的运行速度。提出了一种汉字识别算法的并行设计方案，并针对它在ＰＶＭ环境下运行结果进行了性能分析。

关键词 并行算法 离线手写汉字 汉字识别 图象识别

在线阅读 下载PDF 职称材料

基于MD-CycleGAN的手写表达式图像识别算法研究

7

作者 吕闯 水卿梅 《激光杂志》 CAS 北大核心 2024年第8期169-174,共6页

针对使用生成对抗网络生成图像时词向量或者字符向量难以重建数学表达式中的二维结构的问题,将手写数学表达式的图像生成任务转换为印刷体数学表达式到手写体数学表达式的风格转换问题,并自建了一个带有手写风格分类的数据集来训练风格... 针对使用生成对抗网络生成图像时词向量或者字符向量难以重建数学表达式中的二维结构的问题,将手写数学表达式的图像生成任务转换为印刷体数学表达式到手写体数学表达式的风格转换问题,并自建了一个带有手写风格分类的数据集来训练风格转换模型。为了解决CycleGAN网络生成的图像内容不全、细节失真、质量不高的问题,设计了一种多尺度判别循环一致性生成对抗网络MD-CycleGAN,引入了CBAM注意力机制,弥补下采样环节信息丢失的问题,引入ACON激活函数代替ReLU激活函数,通过自适应学习控制网络每一层的非线性程度。实验结果表明基于生成对抗网络的数据增强方法能有效降低模型过拟合的程度。本研究为手写数学表达式图像的自动识别提供了一种新的方法,克服了数据标注问题和模型泛化问题,具有广泛的应用潜力,包括数学教育、科学文档处理和数学搜索引擎等领域。 展开更多

关键词 MD-CycleGAN 手写数学表达式 图像识别 神经网络

在线阅读 下载PDF 职称材料

基于神经网络的手写电气元件符号识别系统

8

作者 王国余 李正明 王继生 《江苏理工大学学报（自然科学版）》 2001年第2期82-86,共5页

神经网络模式识别在现代数字图像处理中的应用，是数字图像处理技术的一次革 命．以神经网络模式识别技术在电气元件符号图形识别中的应用为对象，着重于手写电气元 件符号自动识别系统的研究，介绍了整个系统的结构和功能，给出了相应... 神经网络模式识别在现代数字图像处理中的应用，是数字图像处理技术的一次革 命．以神经网络模式识别技术在电气元件符号图形识别中的应用为对象，着重于手写电气元 件符号自动识别系统的研究，介绍了整个系统的结构和功能，给出了相应的数据流图和主要数 据结构，提出了一种基于神经网络的模式识别方法，并对系统的实际应用作了验证，为进一步 的研究奠定了基础． 展开更多

关键词 神经网络 模式识别 图像处理 手写电气元件符号识别系统

在线阅读 下载PDF 职称材料

基于数学形态学的联机手写字符识别去噪方法 被引量：3

9

作者 孙嫣 刘瀚猛 +1 位作者 芮建武 吴健 《计算机科学》 CSCD 北大核心 2009年第10期237-239,295,共4页

手写输入时由于笔尖抖动等原因产生了大量噪声,有效地去除噪声是手写识别的前提和关键。根据联机手写识别中手写体字符形态的特性,分析了手写时由于各种原因而产生的噪声,运用数学形态学中膨胀、腐蚀、细化等基本运算,提出了一种将数学... 手写输入时由于笔尖抖动等原因产生了大量噪声,有效地去除噪声是手写识别的前提和关键。根据联机手写识别中手写体字符形态的特性,分析了手写时由于各种原因而产生的噪声,运用数学形态学中膨胀、腐蚀、细化等基本运算,提出了一种将数学形态学应用于联机手写识别预处理的方法,该方法可以有效地消除大量的冗余信息。测试结果表明,提出的方法可行,具有很好的鲁棒性,可以配合其他方案应用于各种联机手写字符识别中。 展开更多

关键词 数学形态学 联机手写识别 噪声消除 细化

在线阅读 下载PDF 职称材料

人在回路的在线手写数学公式识别方法 被引量：3

10

作者 康文惠 黄进 +3 位作者 田丰 范向民 刘杰 戴国忠 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第11期1773-1785,1794,共14页

在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出... 在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出了人在回路的手写公式识别方法,该方法主要在结构分析阶段引入了人的参与,借助人对结构中歧义笔画的修改和结构补笔操作,完善和界定结构笔画和结构内笔画信息.为了评估该方法的有效性,将其与不含用户参与信息的一个基线识别方法在结构识别率和表达式识别率方面进行了对比分析.结果表明,该方法能够有效地促进用户参与到手写识别过程,同时,针对实验收集的手写数学公式数据,引入用户参与的方法能够有效地提高手写数学公式的结构和表达式识别率,分别提高了9.26%和13.99%. 展开更多

关键词 人在回路 手写数学公式 草图识别 人机交互 用户反馈

在线阅读 下载PDF 职称材料

手写数学公式的识别研究及在Android上的应用 被引量：2

11

作者 胡龙灿 杨帆 樊爱军 《计算机应用与软件》 CSCD 北大核心 2014年第8期28-31,44,共5页

为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树... 为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树转换成MathML语言即可在Web浏览器上显示。 展开更多

关键词 手写数学公式识别 空间位置关系 三叉树 MATHML ANDROID平台

在线阅读 下载PDF 职称材料

基于注意力机制编码器-解码器的手写数学公式识别模型 被引量：3

12

作者 陈路 陈道喜 +1 位作者 陆一鸣 陆卫忠 《计算机应用》 CSCD 北大核心 2023年第4期1297-1302,共6页

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连... 针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。 展开更多

关键词 手写数学公式识别 编码器-解码器 稠密卷积网络 门控循环单元 注意力机制

在线阅读 下载PDF 职称材料

基于主分量分析的手写数字字符识别 被引量：22

13

作者 芮挺 沈春林 +1 位作者 丁健 张金林 《小型微型计算机系统》 CSCD 北大核心 2005年第2期289-292,共4页

针对手写数字字符识别中由于书写习惯和风格的不同 ,造成字符模式不稳定的问题 ,提出了一种图像预处理方法 .首先采用数学形态学通过细化和膨胀 ,统一字符笔画的粗细 ,并使字符的局部特征得到改善 ;然后利用主分量分析法 (PCA)抽取字符... 针对手写数字字符识别中由于书写习惯和风格的不同 ,造成字符模式不稳定的问题 ,提出了一种图像预处理方法 .首先采用数学形态学通过细化和膨胀 ,统一字符笔画的粗细 ,并使字符的局部特征得到改善 ;然后利用主分量分析法 (PCA)抽取字符特征 ,估计字符的重建模型 ,并通过对重建模型的误差分析进行字符识别 ;最后通过对美国国家邮政局 U SPS字库中全部数字字符完整的识别实验 ,证实了算法的鲁棒性和准确性 . 展开更多

关键词 手写字符识别 图像处理 数学形态学 主分量分析

在线阅读 下载PDF 职称材料

小类别数手写汉字识别 被引量：5

14

作者 薛炳如 杨静宇 +1 位作者 胡钟山 娄震 《计算机研究与发展》 EI CSCD 北大核心 2000年第4期483-492,共10页

针对小类别数手写汉字 ,在骨架图形的基础上 ,把手写汉字看作孤枝、孤环和部件的集合 ,并定义三者之间的方位关系 ,从而建立手写汉字的数学模型 .基于这种模型 ,进一步探讨一种新的识别方法以及新方法所使用的知识库的构造方法 .实验表... 针对小类别数手写汉字 ,在骨架图形的基础上 ,把手写汉字看作孤枝、孤环和部件的集合 ,并定义三者之间的方位关系 ,从而建立手写汉字的数学模型 .基于这种模型 ,进一步探讨一种新的识别方法以及新方法所使用的知识库的构造方法 .实验表明 。 展开更多

关键词 OCR 字符识别 手写汉字识别 数学模型

在线阅读 下载PDF 职称材料

基于语音和笔的手写数学公式纠错方法

15

作者 姜映映 敖翔 +2 位作者 田丰 王绪刚 戴国忠 《计算机研究与发展》 EI CSCD 北大核心 2009年第4期689-697,共9页

采用识别技术的用户界面往往由于识别率的限制容易出错,如何为这类界面提供自然高效的纠错方法十分重要.手写数学公式具有二维结构,难以识别和纠错.提出一种用于纠正手写数学公式识别错误的多通道技术.它允许用户使用笔纠正切分错误,用... 采用识别技术的用户界面往往由于识别率的限制容易出错,如何为这类界面提供自然高效的纠错方法十分重要.手写数学公式具有二维结构,难以识别和纠错.提出一种用于纠正手写数学公式识别错误的多通道技术.它允许用户使用笔纠正切分错误,用笔和语音纠正符号识别和表达式结构分析错误.该技术的核心是一个多通道融合算法.融合算法以笔选择的符号和语音作为输入,根据语音输入的类型是数学术语或者数学符号分别选择融合方法,最后修正手写公式并输出最有可能的识别结果.实验结果表明,该技术能有效地纠正手写数学公式识别中的错误,它比基于笔的单通道纠错技术更加高效. 展开更多

关键词 多通道融合 纠错 手写数学公式识别 笔 语音

在线阅读 下载PDF 职称材料

一种实时手写数学方程编辑器

16

作者 卢达 浦炜 +1 位作者 钱忆平 谢铭培 《计算机工程与应用》 CSCD 北大核心 2002年第21期125-128,共4页

该文所述的数学方程编辑器,用户可用笔和书写板输入手写的数学公式,系统通过实时字符、符号识别和图形语法分析软件产生与输入相对应的语法分析树,并由此转换成诸如Latex、数学的或LISP-like符号等输出形式,与基于特殊方程描述语言的编... 该文所述的数学方程编辑器,用户可用笔和书写板输入手写的数学公式,系统通过实时字符、符号识别和图形语法分析软件产生与输入相对应的语法分析树,并由此转换成诸如Latex、数学的或LISP-like符号等输出形式,与基于特殊方程描述语言的编辑系统相比,该手写方程编辑器相对简单且使用方便。 展开更多

关键词 实时手写数学方程编辑器 手写识别 方程语法分析 人机交互 实时字符识别系统 计算机

在线阅读 下载PDF 职称材料

一种基于运动图像的在线手写汉字识别方法

17

作者 高学 徐睿 +2 位作者 金连文 尹俊勋 镇立新 《电子学报》 EI CAS CSCD 北大核心 2004年第8期1273-1276,共4页

在分析传统联机与脱机手写汉字识别系统基础上 ,本文提出了一种基于运动图像的在线手写汉字识别新方法 .该方法利用普通摄像头 ,实时地采集手写汉字墨迹的运动图像 ,通过图像处理技术提取手写汉字 ,并进行在线识别 .文中给出了笔尖匹配... 在分析传统联机与脱机手写汉字识别系统基础上 ,本文提出了一种基于运动图像的在线手写汉字识别新方法 .该方法利用普通摄像头 ,实时地采集手写汉字墨迹的运动图像 ,通过图像处理技术提取手写汉字 ,并进行在线识别 .文中给出了笔尖匹配的快速算法和基于数学形态学的汉字提取方法 .最后 ,通过实验验证了本文方法的有效性 . 展开更多

关键词 手写汉字识别 运动图像 数学形态学

在线阅读 下载PDF 职称材料

一种联机手写算术表达式识别系统 被引量：4

18

作者 姜寒 刘长松 +1 位作者 李士阳 邹燕明 《电子与信息学报》 EI CSCD 北大核心 2010年第5期1126-1130,共5页

该文介绍了一个完整的联机手写算术表达式识别系统。在笔划分组与符号识别方面,采用预处理结合搜索的方法优化置信度函数;在结构分析方面,提出了一套全新的基于符号分级的算法,并利用三叉树这种数据结构存储识别结果。实验表明,对于书... 该文介绍了一个完整的联机手写算术表达式识别系统。在笔划分组与符号识别方面,采用预处理结合搜索的方法优化置信度函数;在结构分析方面,提出了一套全新的基于符号分级的算法,并利用三叉树这种数据结构存储识别结果。实验表明,对于书写较为整齐的算术表达式,此系统能够对较复杂的结构予以正确率较高的分析与识别。 展开更多

关键词 联机手写识别 算术表达式 结构分析 符号分级

在线阅读 下载PDF 职称材料

基于Transformer模型的手写数学公式语法树解码器

19

作者 周伯瀚 曹健 王源 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第6期909-914,共6页

目前对数学公式进行树结构解码的方法大多基于循环神经网络的结构,训练效率低,训练过程复杂,基于此问题,提出一种基于Transformer结构的手写数学公式识别模型,可以直接对公式的语法树进行解码。在手写公式识别任务多个数据集上的实验结... 目前对数学公式进行树结构解码的方法大多基于循环神经网络的结构,训练效率低,训练过程复杂,基于此问题,提出一种基于Transformer结构的手写数学公式识别模型,可以直接对公式的语法树进行解码。在手写公式识别任务多个数据集上的实验结果表明,所提出的Transformer树解码方法都取得超越Trans-former序列解码方法的性能,并展现出超越循环神经网络树解码方法的潜力。 展开更多

关键词 手写数学公式识别 TRANSFORMER 树解码器 图表理解

在线阅读 下载PDF 职称材料

基于模具的手写数字串切分算法及其应用 被引量：5

20

作者 张洪刚 吴铭 +1 位作者 刘刚 郭军 《计算机学报》 EI CSCD 北大核心 2003年第7期819-824,共6页

提出了一种基于模具的手写数字串切分算法 ,该算法通过总结手写数字串中字符之间的连接特点 ,归纳出一套合理的切分曲线类型 ,并根据这些曲线类型设计出多种切分模具 ,从而将字符的切分过程变为各种模具的试用和优选过程 .通过在银行票... 提出了一种基于模具的手写数字串切分算法 ,该算法通过总结手写数字串中字符之间的连接特点 ,归纳出一套合理的切分曲线类型 ,并根据这些曲线类型设计出多种切分模具 ,从而将字符的切分过程变为各种模具的试用和优选过程 .通过在银行票据OCR系统中的应用 。 展开更多

关键词 手写数字串切分算法 OCR 字符识别 字符切分 数学表达式

在线阅读 下载PDF 职称材料