HchMER:混合人机智能的手写数学表达式识别方法

1

作者 康文惠 黄进 +3 位作者 仝青山 付强 田丰 戴国忠 《软件学报》 北大核心 2025年第2期915-938,共24页

随着人工智能和端到端识别方法在手写数学表达式识别上的应用,数学表达式识别准确率有了明显的提高.然而,与公开数据集上的测试不同,实际应用中人的参与为识别算法引入了更多的不确定因素,如个性化的笔画信息、包含歧义的手写字符,以及... 随着人工智能和端到端识别方法在手写数学表达式识别上的应用,数学表达式识别准确率有了明显的提高.然而,与公开数据集上的测试不同,实际应用中人的参与为识别算法引入了更多的不确定因素,如个性化的笔画信息、包含歧义的手写字符,以及不确定的公式结构等,影响了识别算法的性能.为此,提出了一种混合人机智能的手写数学表达式识别方法HchMER.该方法借助手写数学公式识别算法、知识库和用户反馈,增强机器对用户输入的数学表达式的理解,从而提升手写数学表达式的编辑速度和准确率.为了验证HchMER的有效性,将其分别与MyScript Math Recognition(MyScript)算法,以及一个成熟的商用产品“Microsoft Ink Equation”(InkEquation)进行了比较.实验结果表明,HchMER在准确率上较MyScript和InkEquation分别提高了23.2%和26.51%.在平均完成时间上,HchMER比MyScript增加了44.46%(9.6 s),但是比InkEquation降低了11.48%(4.05 s).同时,被试在问卷调查和半结构化访谈中对HchMER给予了肯定. 展开更多

关键词 人机混合智能 草图理解 在线手写数学表达式识别 用户界面

在线阅读 下载PDF 职称材料

基于MD-CycleGAN的手写表达式图像识别算法研究

2

作者 吕闯 水卿梅 《激光杂志》 CAS 北大核心 2024年第8期169-174,共6页

针对使用生成对抗网络生成图像时词向量或者字符向量难以重建数学表达式中的二维结构的问题,将手写数学表达式的图像生成任务转换为印刷体数学表达式到手写体数学表达式的风格转换问题,并自建了一个带有手写风格分类的数据集来训练风格... 针对使用生成对抗网络生成图像时词向量或者字符向量难以重建数学表达式中的二维结构的问题,将手写数学表达式的图像生成任务转换为印刷体数学表达式到手写体数学表达式的风格转换问题,并自建了一个带有手写风格分类的数据集来训练风格转换模型。为了解决CycleGAN网络生成的图像内容不全、细节失真、质量不高的问题,设计了一种多尺度判别循环一致性生成对抗网络MD-CycleGAN,引入了CBAM注意力机制,弥补下采样环节信息丢失的问题,引入ACON激活函数代替ReLU激活函数,通过自适应学习控制网络每一层的非线性程度。实验结果表明基于生成对抗网络的数据增强方法能有效降低模型过拟合的程度。本研究为手写数学表达式图像的自动识别提供了一种新的方法,克服了数据标注问题和模型泛化问题,具有广泛的应用潜力,包括数学教育、科学文档处理和数学搜索引擎等领域。 展开更多

关键词 MD-CycleGAN 手写数学表达式 图像识别 神经网络

在线阅读 下载PDF 职称材料

一种联机手写算术表达式识别系统 被引量：4

3

作者 姜寒 刘长松 +1 位作者 李士阳 邹燕明 《电子与信息学报》 EI CSCD 北大核心 2010年第5期1126-1130,共5页

该文介绍了一个完整的联机手写算术表达式识别系统。在笔划分组与符号识别方面,采用预处理结合搜索的方法优化置信度函数;在结构分析方面,提出了一套全新的基于符号分级的算法,并利用三叉树这种数据结构存储识别结果。实验表明,对于书... 该文介绍了一个完整的联机手写算术表达式识别系统。在笔划分组与符号识别方面,采用预处理结合搜索的方法优化置信度函数;在结构分析方面,提出了一套全新的基于符号分级的算法,并利用三叉树这种数据结构存储识别结果。实验表明,对于书写较为整齐的算术表达式,此系统能够对较复杂的结构予以正确率较高的分析与识别。 展开更多

关键词 联机手写识别 算术表达式 结构分析 符号分级

在线阅读 下载PDF 职称材料

基于多尺度特征融合的互学习脱机手写数学公式识别 被引量：1

4

作者 付鹏斌 徐宇 杨惠荣 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第2期23-31,共9页

脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中... 脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中细粒度信息的提取能力以及加强对全局二维结构的语义信息理解;其次,引入了成对的手写体、打印体数据来进行互学习模型的训练,该模型包括解码器损失和上下文匹配损失,分别学习LaTeX语法以及手写体、打印体之间的语义不变性,提高模型对不同书写风格的鲁棒性,提升对公式整体信息的理解能力。在CROHME 2014/2016/2019数据集上进行实验验证,结果发现:引入多尺度特征融合机制后,表达式正确率分别达到55.25%、52.31%、53.72%;引入互学习机制后,表达式正确率分别达到55.43%、53.53%、53.79%;同时引入两种机制后,表达式正确率分别达到58.88%、55.10%、57.05%。经实验证明,文中提出的方法能够有效提取公式中不同尺度下的特征,并通过互学习机制克服手写风格不一、数据量少等问题。此外,在HME100K数据集上的实验结果也验证了文中提出模型的有效性。 展开更多

关键词 手写数学公式识别 脱机模式 手写体 打印体 语义不变性

在线阅读 下载PDF 职称材料

人在回路的在线手写数学公式识别方法 被引量：3

5

作者 康文惠 黄进 +3 位作者 田丰 范向民 刘杰 戴国忠 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2021年第11期1773-1785,1794,共14页

在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出... 在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出了人在回路的手写公式识别方法,该方法主要在结构分析阶段引入了人的参与,借助人对结构中歧义笔画的修改和结构补笔操作,完善和界定结构笔画和结构内笔画信息.为了评估该方法的有效性,将其与不含用户参与信息的一个基线识别方法在结构识别率和表达式识别率方面进行了对比分析.结果表明,该方法能够有效地促进用户参与到手写识别过程,同时,针对实验收集的手写数学公式数据,引入用户参与的方法能够有效地提高手写数学公式的结构和表达式识别率,分别提高了9.26%和13.99%. 展开更多

关键词 人在回路 手写数学公式 草图识别 人机交互 用户反馈

在线阅读 下载PDF 职称材料

在线手写签名的识别算法 被引量：11

6

作者 栾方军 马驷良 程开东 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2004年第2期226-229,共4页

提出一种手写签名的数学模型,借鉴动态规划的思想进行时序匹配.引入加权H1模的距离计算公式,用以度量输入签名与样本签名的差异,经实践检验识别算法的有效性.

关键词 在线手写签名 识别算法 动态规划 生物识别 时序 生物识别

在线阅读 下载PDF 职称材料

基于人工免疫模型的在线手写签名识别方法 被引量：2

7

作者 张莉莎 孙正兴 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2007年第3期311-317,共7页

采集能表征签名者潜在手写习惯的签名特征,利用人工免疫模型的自学习和自适应实现在较少训练样本的条件下获得具有更高区分度的手写签名模板.实验结果表明,文中方法识别具有良好的训练效果,能获得较好的验证率和鉴别率.

关键词 在线手写签名识别 特征选择 样本训练 人工免疫模型 抗原 抗体

在线阅读 下载PDF 职称材料

一种基于编码的识别手写数学符号方法 被引量：1

8

作者 张显全 《计算机工程》 CAS CSCD 北大核心 2001年第4期112-113,共2页

提出了一种对手写数学符号的识别方法。通过对数学符号的图象进行处理,然后对其进行编码,并采用模糊识别方法建立了识别函数,根据这一函数以求最佳匹配。试验结果表明,该方法有良好的识别性能。

关键词 手写数学符号 识别 编码 图象处理 计算机

在线阅读 下载PDF 职称材料

一种基于运动图像的在线手写汉字识别方法

9

作者 高学 徐睿 +2 位作者 金连文 尹俊勋 镇立新 《电子学报》 EI CAS CSCD 北大核心 2004年第8期1273-1276,共4页

在分析传统联机与脱机手写汉字识别系统基础上 ,本文提出了一种基于运动图像的在线手写汉字识别新方法 .该方法利用普通摄像头 ,实时地采集手写汉字墨迹的运动图像 ,通过图像处理技术提取手写汉字 ,并进行在线识别 .文中给出了笔尖匹配... 在分析传统联机与脱机手写汉字识别系统基础上 ,本文提出了一种基于运动图像的在线手写汉字识别新方法 .该方法利用普通摄像头 ,实时地采集手写汉字墨迹的运动图像 ,通过图像处理技术提取手写汉字 ,并进行在线识别 .文中给出了笔尖匹配的快速算法和基于数学形态学的汉字提取方法 .最后 ,通过实验验证了本文方法的有效性 . 展开更多

关键词 手写汉字识别 运动图像 数学形态学

在线阅读 下载PDF 职称材料

基于数学形态学的联机手写字符识别去噪方法 被引量：3

10

作者 孙嫣 刘瀚猛 +1 位作者 芮建武 吴健 《计算机科学》 CSCD 北大核心 2009年第10期237-239,295,共4页

手写输入时由于笔尖抖动等原因产生了大量噪声,有效地去除噪声是手写识别的前提和关键。根据联机手写识别中手写体字符形态的特性,分析了手写时由于各种原因而产生的噪声,运用数学形态学中膨胀、腐蚀、细化等基本运算,提出了一种将数学... 手写输入时由于笔尖抖动等原因产生了大量噪声,有效地去除噪声是手写识别的前提和关键。根据联机手写识别中手写体字符形态的特性,分析了手写时由于各种原因而产生的噪声,运用数学形态学中膨胀、腐蚀、细化等基本运算,提出了一种将数学形态学应用于联机手写识别预处理的方法,该方法可以有效地消除大量的冗余信息。测试结果表明,提出的方法可行,具有很好的鲁棒性,可以配合其他方案应用于各种联机手写字符识别中。 展开更多

关键词 数学形态学 联机手写识别 噪声消除 细化

在线阅读 下载PDF 职称材料

手写数学公式的识别研究及在Android上的应用 被引量：2

11

作者 胡龙灿 杨帆 樊爱军 《计算机应用与软件》 CSCD 北大核心 2014年第8期28-31,44,共5页

为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树... 为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树转换成MathML语言即可在Web浏览器上显示。 展开更多

关键词 手写数学公式识别 空间位置关系 三叉树 MATHML ANDROID平台

在线阅读 下载PDF 职称材料

在线手写签名组合最相似笔段的识别算法 被引量：1

12

作者 张达治 马驷良 王彦 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2005年第5期613-616,共4页

在线手写签名识别是通过人的生物特征进行身份验证的技术.提出一种基于笔画样本库的识别方法,避免了动态特征点提取、时序段匹配等方法由于书写环境和人物即时的生理特性所带来的问题,同时针对每一笔画的稳定性提出了加权距离计算公式.... 在线手写签名识别是通过人的生物特征进行身份验证的技术.提出一种基于笔画样本库的识别方法,避免了动态特征点提取、时序段匹配等方法由于书写环境和人物即时的生理特性所带来的问题,同时针对每一笔画的稳定性提出了加权距离计算公式.实验证明该方法行之有效,在保证高识别率的同时又降低了误拒率. 展开更多

关键词 在线手写签名识别 笔段 误拒率

在线阅读 下载PDF 职称材料

基于注意力机制编码器-解码器的手写数学公式识别模型 被引量：3

13

作者 陈路 陈道喜 +1 位作者 陆一鸣 陆卫忠 《计算机应用》 CSCD 北大核心 2023年第4期1297-1302,共6页

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连... 针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。 展开更多

关键词 手写数学公式识别 编码器-解码器 稠密卷积网络 门控循环单元 注意力机制

在线阅读 下载PDF 职称材料

基于改进YOLOv5s的离线手写数学符号识别 被引量：2

14

作者 方洪波 万广 +3 位作者 陈忠辉 黄以卫 张文勇 谢本亮 《图学学报》 CSCD 北大核心 2022年第3期387-395,共9页

离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别,对离线表达式识别的其他环节未有任何帮助,反而会限制表达式识别,提出一种改进YOLOv5s的离线符号识别方法。首先,根据符号图像小的特点... 离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别,对离线表达式识别的其他环节未有任何帮助,反而会限制表达式识别,提出一种改进YOLOv5s的离线符号识别方法。首先,根据符号图像小的特点,用生成对抗网络(GAN)进行数据增强;其次,从符号类别的角度分析,在YOLOv5s模型中引入空间注意力机制,利用全局最大值和全局平均值池化,扩大类别间的差异特征;最后,从符号自身角度分析,引入双向长短期记忆网络(BiLSTM)对符号特征矩阵进行处理,使符号特征具有上下相关联的信息。实验结果表明:改进后的YOLOv5s取得较好离线符号识别效果,有92.47%的识别率,与其他方法进行对比,证明了其有效性和稳健性。同时,能有效避免离线数学表达式识别中错误累积的问题,且能为表达式的结构分析提供有效依据。 展开更多

关键词 离线手写数学符号识别 数据增强 生成对抗网络 空间注意力机制 双向长短期记忆网络

在线阅读 下载PDF 职称材料

基于多级分类器的自由手写数字在线识别

15

作者 乔进 潘保昌 +1 位作者 赵学军 肖彤 《重庆大学学报（自然科学版）》 EI CAS CSCD 1999年第3期127-132,共6页

设计了一种用于手写字符在线识别的多级分类器模型。在该模型中，通过对四个独立的分类算法进行集成，将脱机方法与联机方法，神经网络方法与传统方法有机地结合起来构成一个完整的手写字符在线识别系统．理论分析和实验结果表明，该集... 设计了一种用于手写字符在线识别的多级分类器模型。在该模型中，通过对四个独立的分类算法进行集成，将脱机方法与联机方法，神经网络方法与传统方法有机地结合起来构成一个完整的手写字符在线识别系统．理论分析和实验结果表明，该集成系统比单一系统具有明显的优越性。 展开更多

关键词 数字识别 多级分类器 手写字符识别 在线识别

在线阅读 下载PDF 职称材料

基于多重规则和路径评价的在线中英文手写识别方法 被引量：2

16

作者 付鹏斌 刘鹏辉 +1 位作者 杨惠荣 董澳静 《计算机工程》 CAS CSCD 北大核心 2022年第3期253-262,共10页

手写文本识别方法主要应用于文本输入技术,对人机交互领域的发展起关键作用。针对多数在线输入法无法识别中英文混合手写识别的问题,提出一种在线中英文混合手写文本识别方法。通过对文本笔画进行基于水平相对位置、垂直重叠率、面积重... 手写文本识别方法主要应用于文本输入技术,对人机交互领域的发展起关键作用。针对多数在线输入法无法识别中英文混合手写识别的问题,提出一种在线中英文混合手写文本识别方法。通过对文本笔画进行基于水平相对位置、垂直重叠率、面积重叠率规则的整合以及连笔切分,得到一系列字符片段,同时利用笔画个数、宽高比、中心偏离、平滑度等几何特征和识别置信度,对字符片段进行中英文分类。在此基础上,根据分类结果并结合自然语言模型的路径评价及动态规划搜索算法,分别对候选的中、英文字符片段进行合并处理,得到待识别的中、英文字符序列,并将其分别送入卷积神经网络的中、英文识别模型中,得到手写文本识别结果。实验结果表明,在线手写中英文混合文本识别正确率达93.67%,不仅能切分在线手写中文文本行,而且对包含字符连笔的在线手写中英文文本行也有较好的切分效果。 展开更多

关键词 在线手写识别 中英文混合手写 中英文分类 文本行切分 路径评价

在线阅读 下载PDF 职称材料

基于主分量分析的手写数字字符识别 被引量：22

17

作者 芮挺 沈春林 +1 位作者 丁健 张金林 《小型微型计算机系统》 CSCD 北大核心 2005年第2期289-292,共4页

针对手写数字字符识别中由于书写习惯和风格的不同 ,造成字符模式不稳定的问题 ,提出了一种图像预处理方法 .首先采用数学形态学通过细化和膨胀 ,统一字符笔画的粗细 ,并使字符的局部特征得到改善 ;然后利用主分量分析法 (PCA)抽取字符... 针对手写数字字符识别中由于书写习惯和风格的不同 ,造成字符模式不稳定的问题 ,提出了一种图像预处理方法 .首先采用数学形态学通过细化和膨胀 ,统一字符笔画的粗细 ,并使字符的局部特征得到改善 ;然后利用主分量分析法 (PCA)抽取字符特征 ,估计字符的重建模型 ,并通过对重建模型的误差分析进行字符识别 ;最后通过对美国国家邮政局 U SPS字库中全部数字字符完整的识别实验 ,证实了算法的鲁棒性和准确性 . 展开更多

关键词 手写字符识别 图像处理 数学形态学 主分量分析

在线阅读 下载PDF 职称材料

基于笔划匹配的在线手写签名身份认证算法 被引量：5

18

作者 栾方军 马驷良 +1 位作者 程开东 董险峰 《沈阳建筑大学学报（自然科学版）》 EI CAS 2005年第5期568-572,共5页

目的使用计算机把手写签名的图像、笔顺、速度和压力等信息与存储的真实签名样本进行对比,以实时鉴别手写签名真伪.方法笔者给出一种手写签名身份认证的笔划匹配算法,选用签名的速度及压力变化率作为特征向量进行相似度计算,降低签名在... 目的使用计算机把手写签名的图像、笔顺、速度和压力等信息与存储的真实签名样本进行对比,以实时鉴别手写签名真伪.方法笔者给出一种手写签名身份认证的笔划匹配算法,选用签名的速度及压力变化率作为特征向量进行相似度计算,降低签名在坐标和方向上不一致造成的影响,引入加权H′模的距离计算公式来度量输入签名与样本签名的差异.结果经第一届国际手写签名身份认证竞赛样本数据库检验,误拒率为2%,误识率为零.大笔划匹配算法解决了签名由于断笔、干扰等因素造成的笔划数不等的问题;在防止伪造签名的前提下,提取签名的动态特征进行比较,提高了算法的识别率.结论在线手写签名认证具有方便和快捷的特点,适合作为身份认证手段.通过实例检验了算法的有效性. 展开更多

关键词 在线 手写签名身份认证 模式识别 笔划匹配 识别率

在线阅读 下载PDF 职称材料

小类别数手写汉字识别 被引量：5

19

作者 薛炳如 杨静宇 +1 位作者 胡钟山 娄震 《计算机研究与发展》 EI CSCD 北大核心 2000年第4期483-492,共10页

针对小类别数手写汉字 ,在骨架图形的基础上 ,把手写汉字看作孤枝、孤环和部件的集合 ,并定义三者之间的方位关系 ,从而建立手写汉字的数学模型 .基于这种模型 ,进一步探讨一种新的识别方法以及新方法所使用的知识库的构造方法 .实验表... 针对小类别数手写汉字 ,在骨架图形的基础上 ,把手写汉字看作孤枝、孤环和部件的集合 ,并定义三者之间的方位关系 ,从而建立手写汉字的数学模型 .基于这种模型 ,进一步探讨一种新的识别方法以及新方法所使用的知识库的构造方法 .实验表明 。 展开更多

关键词 OCR 字符识别 手写汉字识别 数学模型

在线阅读 下载PDF 职称材料

一种基于隐马尔可夫模型的在线手写签名认证算法 被引量：4

20

作者 程开东 栾方军 马驷良 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2008年第5期940-943,共4页

给出一种对签名特殊点的提取方法,并以此特殊点作为签名的分割点,获取每段中的重要特征进行分析.在此基础上,提出一种基于隐马尔可夫模型(HMM)的在线手写签名认证算法,并利用第一届国际手写签名认证竞赛(SVC 2004)的测试数据库检验了算... 给出一种对签名特殊点的提取方法,并以此特殊点作为签名的分割点,获取每段中的重要特征进行分析.在此基础上,提出一种基于隐马尔可夫模型(HMM)的在线手写签名认证算法,并利用第一届国际手写签名认证竞赛(SVC 2004)的测试数据库检验了算法的有效性. 展开更多

关键词 在线手写签名认证 隐马尔可夫模型 模式识别

在线阅读 下载PDF 职称材料