基于双模编码器-解码器框架的联机手写数学公式识别 被引量：4

1

作者 付鹏斌 李树军 杨惠荣 《北京工业大学学报》 CAS CSCD 北大核心 2024年第1期50-60,共11页

为了充分利用联机手写数学公式的笔迹特征和全局二维结构特征,将联机模式和脱机模式联合,设计了一种基于编码器-解码器框架的双模识别模型。该模型可接受一维坐标点序列和二维静态图像形式的手写数学公式数据,通过联机编码器从输入的坐... 为了充分利用联机手写数学公式的笔迹特征和全局二维结构特征,将联机模式和脱机模式联合,设计了一种基于编码器-解码器框架的双模识别模型。该模型可接受一维坐标点序列和二维静态图像形式的手写数学公式数据,通过联机编码器从输入的坐标点序列中提取笔迹特征信息,并通过脱机编码器从静态图像中提取二维结构特征信息,进而充分保留手写笔迹特征和全局二维结构特征。在编码器阶段,针对联机模式提出正弦编码,对输入的坐标点序列进行编码,补充笔画级别的信息,能够有效避免笔画间隔模糊导致的笔画信息丢失的问题;针对脱机模式提出平滑注意力机制,通过引入平滑窗口的方式,实现特征图中每个像素特征的感受野的自适应调整,在一定程度上解决了普通的注意力机制无法同时对尺寸相差较大的手写符号筛选有效特征信息的问题,有效提升了注意力机制捕捉有效手写区域的能力。实验结果表明,该模型的公式识别准确率可达58.76%,并且与相同领域内其他的识别模型相比,其可将公式识别准确率提升1.56%~4.71%,达到较高水平。 展开更多

关键词 编码器-解码器 联机 脱机 双模 数学公式识别 注意力机制

在线阅读 下载PDF 职称材料

基于多尺度特征融合的互学习脱机手写数学公式识别 被引量：1

2

作者 付鹏斌 徐宇 杨惠荣 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第2期23-31,共9页

脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中... 脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中细粒度信息的提取能力以及加强对全局二维结构的语义信息理解;其次,引入了成对的手写体、打印体数据来进行互学习模型的训练,该模型包括解码器损失和上下文匹配损失,分别学习LaTeX语法以及手写体、打印体之间的语义不变性,提高模型对不同书写风格的鲁棒性,提升对公式整体信息的理解能力。在CROHME 2014/2016/2019数据集上进行实验验证,结果发现:引入多尺度特征融合机制后,表达式正确率分别达到55.25%、52.31%、53.72%;引入互学习机制后,表达式正确率分别达到55.43%、53.53%、53.79%;同时引入两种机制后,表达式正确率分别达到58.88%、55.10%、57.05%。经实验证明,文中提出的方法能够有效提取公式中不同尺度下的特征,并通过互学习机制克服手写风格不一、数据量少等问题。此外,在HME100K数据集上的实验结果也验证了文中提出模型的有效性。 展开更多

关键词 手写数学公式识别 脱机模式 手写体 打印体 语义不变性

在线阅读 下载PDF 职称材料

基于凸壳和模糊识别的数学公式识别 被引量：4

3

作者 肖建于 王潜平 洪留荣 《计算机应用与软件》 CSCD 北大核心 2008年第5期208-209,254,共3页

根据数学公式中字符或符号间空间关系特点,并针对目前用于数学公式字符空间关系判别的区域和质心方法所存在的不足,提出了基于字符凸壳和模糊识别的字符空间关系判别方法。首先,对数学公式中的字符或符号进行分类,对每一类运用字符凸壳... 根据数学公式中字符或符号间空间关系特点,并针对目前用于数学公式字符空间关系判别的区域和质心方法所存在的不足,提出了基于字符凸壳和模糊识别的字符空间关系判别方法。首先,对数学公式中的字符或符号进行分类,对每一类运用字符凸壳判别其正上和正下关系,然后应用模糊识别的方法对常见关系进行识别。实验结果表明,运用该方法能明显提高字符空间关系判别的识别率,识别的正确率可达到93.5%。 展开更多

关键词 数学公式识别 关系识别 凸壳 模糊识别

在线阅读 下载PDF 职称材料

印刷体文献中数学公式识别及描述系统研究 被引量：1

4

作者 陈德裕 朱学芳 +1 位作者 苏啸晨 杭月芹 《计算机应用》 CSCD 北大核心 2009年第3期789-791,共3页

印刷体数学公式识别系统的建立,需要对数学公式结构本身及其字符识别方法和识别后的描述方法进行研究。为此建立了数学公式识别及描述实验系统,实现了部分数学公式的结构本身及其字符的识别,能完成从图像到文本的转换,对识别的结果能用... 印刷体数学公式识别系统的建立,需要对数学公式结构本身及其字符识别方法和识别后的描述方法进行研究。为此建立了数学公式识别及描述实验系统,实现了部分数学公式的结构本身及其字符的识别,能完成从图像到文本的转换,对识别的结果能用数学建模语言进行有效表示。 展开更多

关键词 数学公式 识别 MATHML 数学公式识别系统 公式图像

在线阅读 下载PDF 职称材料

基于基准线的多候选数学公式识别 被引量：2

5

作者 陈国俊 唐勇智 《计算机工程与应用》 CSCD 2013年第1期206-209,238,共5页

提出了一种基于基准线的多候选数学公式识别(Baseline Based Multi-candidate Mathematical Expression Recognition,BBMMER)方法。现代印刷体数学公式识别是模式识别的重要组成部分,而数学公式结构分析又是数学公式识别技术发展的瓶颈... 提出了一种基于基准线的多候选数学公式识别(Baseline Based Multi-candidate Mathematical Expression Recognition,BBMMER)方法。现代印刷体数学公式识别是模式识别的重要组成部分,而数学公式结构分析又是数学公式识别技术发展的瓶颈所在。提出了一种利用基准线定位公式嵌套结构,多候选分析公式符号间结构关系的方法,并使用LaTex格式表示数学公式的识别结果。在大量的公式图像组成的测试集上取得了良好的公式分析正确率。 展开更多

关键词 基准线 多候选 数学公式识别 结构分析

在线阅读 下载PDF 职称材料

基于注意力机制编码器-解码器的手写数学公式识别模型 被引量：3

6

作者 陈路 陈道喜 +1 位作者 陆一鸣 陆卫忠 《计算机应用》 CSCD 北大核心 2023年第4期1297-1302,共6页

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连... 针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。 展开更多

关键词 手写数学公式识别 编码器-解码器 稠密卷积网络 门控循环单元 注意力机制

在线阅读 下载PDF 职称材料

基于支持向量机的数学公式识别 被引量：4

7

作者 刘婷婷 程涛 +2 位作者 金冈增 王熙堃 高明 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2019年第3期78-85,共8页

数学公式识别在拍照搜题、自动阅卷和题库建设等智慧教育任务中有着广泛的应用.由于这些应用中数学公式大多以图片的形式存在,因此识别图片中的数学公式成为智慧教育领域的重要研究问题之一.数学公式结构复杂,从图片中识别数学公式远比... 数学公式识别在拍照搜题、自动阅卷和题库建设等智慧教育任务中有着广泛的应用.由于这些应用中数学公式大多以图片的形式存在,因此识别图片中的数学公式成为智慧教育领域的重要研究问题之一.数学公式结构复杂,从图片中识别数学公式远比一般的光学符号识别要复杂得多.将公式识别分为字符分割、符号识别和公式重组这3个步骤:首先,综合运用投影和连通域方法将字符从图片中分割出来;其次,基于单个字符的区域像素数占总像素比例提取字符特征,建立监督学习模型识别字符;最后,利用每个字符在公式中出现的位置对数学公式进行重组.真实数据集上的实验结果表明,本文提出的数学公式识别方法准确率高达98.0%. 展开更多

关键词 数学公式识别 支持向量机 光学符号识别

在线阅读 下载PDF 职称材料

手写数学公式的识别研究及在Android上的应用 被引量：2

8

作者 胡龙灿 杨帆 樊爱军 《计算机应用与软件》 CSCD 北大核心 2014年第8期28-31,44,共5页

为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树... 为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树转换成MathML语言即可在Web浏览器上显示。 展开更多

关键词 手写数学公式识别 空间位置关系 三叉树 MATHML ANDROID平台

在线阅读 下载PDF 职称材料

基于统计特征的印刷体数学公式上/下标关系判别 被引量：10

9

作者 江红英 靳简明 王庆人 《计算机工程与应用》 CSCD 北大核心 2003年第28期75-78,共4页

印刷体数学公式与普通文本相比有许多不同的特点,其二维结构决定了公式识别不仅包含字符识别,更重要的是对其结构的分析。上/下标关系是公式中出现频繁又难于解决的特殊结构,容易与水平关系混淆。该文提出两种基于统计特征的印刷体数学... 印刷体数学公式与普通文本相比有许多不同的特点,其二维结构决定了公式识别不仅包含字符识别,更重要的是对其结构的分析。上/下标关系是公式中出现频繁又难于解决的特殊结构,容易与水平关系混淆。该文提出两种基于统计特征的印刷体数学公式上/下标关系判别方法,一种直接分析符号的外接矩形,另一种利用了符号的识别结果。实验结果表明,两种方法与同类方法相比都有改进,其中利用识别结果进行判别的方法不仅能将上/下标与水平关系很好地区分开,而且具有很大的类间距离。 展开更多

关键词 数学公式识别 上/下标判别 统计特征 文档图像处理

在线阅读 下载PDF 职称材料

基于多特征模糊模式识别的公式符号关系判定 被引量：6

10

作者 田学东 吴丽红 赵蕾蕾 《计算机工程与应用》 CSCD 北大核心 2009年第5期186-188,共3页

数学表达式的识别过程中,结构分析是非常重要的一步。而符号关系的判定又是结构分析的关键。然而符号间关系的不确定性导致数学表达式运算含义的模糊性,已经成为数学公式识别中结构分析的一大难点。通过大量的统计数据,抽取出较为明显... 数学表达式的识别过程中,结构分析是非常重要的一步。而符号关系的判定又是结构分析的关键。然而符号间关系的不确定性导致数学表达式运算含义的模糊性,已经成为数学公式识别中结构分析的一大难点。通过大量的统计数据,抽取出较为明显的特征,并引入多特征模糊模式识别的方法,建立隶属函数来判断印刷体数学公式符号的关系。实验结果表明,该方法适用范围较广,准确率较高,具有较强的鲁棒性。 展开更多

关键词 数学公式识别 结构分析 符号关系 多特征模糊模式识别

在线阅读 下载PDF 职称材料

印刷体数学公式结构分析的一种方法 被引量：1

11

作者 田学东 范好信 +1 位作者 史青宣 张梅馨 《计算机工程与应用》 CSCD 北大核心 2006年第3期161-163,232,共4页

数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺。文章在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线、运算符作用域并结合语法分析数学公式结构的方法。实验表明,... 数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺。文章在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线、运算符作用域并结合语法分析数学公式结构的方法。实验表明,该方法对公式结构具有较好的适应性。 展开更多

关键词 数学公式识别 符号识别 结构分析 基准线 作用域

在线阅读 下载PDF 职称材料

一种基于分块树的手写数学公式结构分析算法 被引量：4

12

作者 卢晓卫 林嘉宇 《计算机工程与科学》 CSCD 北大核心 2010年第10期69-72,84,共5页

本文源于一个手写数学公式识别系统,该系统实现了手写数学公式到文本公式的自动转化。文中提出了一种基于分块树的数学公式结构分析方法,该方法首先根据其内部结构特征将数学表达式分解为若干子模块,并采用树型结构对每个子模块内部字... 本文源于一个手写数学公式识别系统,该系统实现了手写数学公式到文本公式的自动转化。文中提出了一种基于分块树的数学公式结构分析方法,该方法首先根据其内部结构特征将数学表达式分解为若干子模块,并采用树型结构对每个子模块内部字符之间的结构关系进行表示,最终形成整个表达式的树型表示。该方法定义了一系列的字符结构属性,将字符及属性值作为结构分析的结果,这些属性值再现了公式的结构特征,并很容易被系统的公式文本显示部分所利用。另外,该方法对传统的字符空间关系类型进行了简化,减小了识别误差,而引入的分块处理方式更加适合具有根式和分式等多层嵌套结构公式的处理,并且具有较强的可扩展性。 展开更多

关键词 结构分析 数学公式识别 分块树型结构 空间关系

在线阅读 下载PDF 职称材料

基于模糊分类的印刷体数学公式抽取方法 被引量：2

13

作者 田学东 郝楠 《计算机应用》 CSCD 北大核心 2007年第8期2036-2037,2065,共3页

公式抽取是印刷体数学公式识别的基础性环节,现有的识别方法多以公式区域已知为前提,相关的研究还很欠缺。通过引入模糊分类理论,提出了一种孤立数学公式的抽取算法,通过对大量训练样张的数据统计与分析,选取了非规则度、宽高比、密度等... 公式抽取是印刷体数学公式识别的基础性环节,现有的识别方法多以公式区域已知为前提,相关的研究还很欠缺。通过引入模糊分类理论,提出了一种孤立数学公式的抽取算法,通过对大量训练样张的数据统计与分析,选取了非规则度、宽高比、密度等6维特征,由此构建出对孤立公式行、文本行、标题行的模糊分类规则,实现了孤立公式行的抽取。实验结果表明,该方法有较高的准确性和鲁棒性。 展开更多

关键词 印刷体数学公式识别 公式抽取 模糊分类

在线阅读 下载PDF 职称材料

基于语音和笔的手写数学公式纠错方法

14

作者 姜映映 敖翔 +2 位作者 田丰 王绪刚 戴国忠 《计算机研究与发展》 EI CSCD 北大核心 2009年第4期689-697,共9页

采用识别技术的用户界面往往由于识别率的限制容易出错,如何为这类界面提供自然高效的纠错方法十分重要.手写数学公式具有二维结构,难以识别和纠错.提出一种用于纠正手写数学公式识别错误的多通道技术.它允许用户使用笔纠正切分错误,用... 采用识别技术的用户界面往往由于识别率的限制容易出错,如何为这类界面提供自然高效的纠错方法十分重要.手写数学公式具有二维结构,难以识别和纠错.提出一种用于纠正手写数学公式识别错误的多通道技术.它允许用户使用笔纠正切分错误,用笔和语音纠正符号识别和表达式结构分析错误.该技术的核心是一个多通道融合算法.融合算法以笔选择的符号和语音作为输入,根据语音输入的类型是数学术语或者数学符号分别选择融合方法,最后修正手写公式并输出最有可能的识别结果.实验结果表明,该技术能有效地纠正手写数学公式识别中的错误,它比基于笔的单通道纠错技术更加高效. 展开更多

关键词 多通道融合 纠错 手写数学公式识别 笔 语音

在线阅读 下载PDF 职称材料

印刷体数学公式结构分析方法的研究

15

作者 田学东 李娜 徐丽娟 《计算机工程》 EI CAS CSCD 北大核心 2006年第23期202-204,228,共4页

印刷体数学公式识别是OCR技术的重要组成部分,也是识别技术发展的瓶颈所在。在介绍公式识别技术发展现状的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线和字符间空白域特征的公式二维结构分析方法,并将语义和语境... 印刷体数学公式识别是OCR技术的重要组成部分,也是识别技术发展的瓶颈所在。在介绍公式识别技术发展现状的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线和字符间空白域特征的公式二维结构分析方法,并将语义和语境分析策略融入其中。实验表明,这种方法对公式结构分析具有较好的鲁棒性和应用前景。 展开更多

关键词 数学公式识别 结构分析 基准线 空白域

在线阅读 下载PDF 职称材料

数学公式图像的结构理解与重现

16

作者 史广顺 肖萃 王庆人 《智能系统学报》 2008年第5期401-407,共7页

数学公式图像识别与理解是文档图像处理领域的重要组成部分,目前尚无满足一般应用的处理方法.提出了一种鲁棒的数学公式结构理解方法,使用公式图像识别结果、语法规则和句法规则分析数学公式结构,对数学公式的类型进行了完整的划分,对... 数学公式图像识别与理解是文档图像处理领域的重要组成部分,目前尚无满足一般应用的处理方法.提出了一种鲁棒的数学公式结构理解方法,使用公式图像识别结果、语法规则和句法规则分析数学公式结构,对数学公式的类型进行了完整的划分,对识别结果的错误进行自动的检查和纠正,能够自动分析数学公式符号的优先级和计算顺序.既可以应用于数学公式图像的识别与格式转换,也可应用于对数学公式的检索和辅助编辑.基于1 000个真实公式图像的实验结果证明了分析方法的有效性和稳定性. 展开更多

关键词 数学公式识别 版面结构分析 语法结构分析 数学公式结构理解

在线阅读 下载PDF 职称材料

中文电子文档的数学公式定位研究 被引量：4

17

作者 林晓燕 高良才 汤帜 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2014年第1期17-24,共8页

区别于传统基于图像和西文文档的公式定位方法,针对中文电子文档的特点,提出一种基于机器学习和规则相结合的独立公式和内嵌公式的定位方法。设计了适合中文文档的页面分行策略和词块划分规则;选择适合中文文档的公式特征和机器学习算法... 区别于传统基于图像和西文文档的公式定位方法,针对中文电子文档的特点,提出一种基于机器学习和规则相结合的独立公式和内嵌公式的定位方法。设计了适合中文文档的页面分行策略和词块划分规则;选择适合中文文档的公式特征和机器学习算法;针对公式定位中的过分割问题,提出行合并与词块合并等后处理手段。实验结果表明,该方法可以有效地从中文电子文档中自动定位公式区域。此外,构建了公开可用的中文数据集,以促进不同数学公式定位方法间的相互比较及性能评估。 展开更多

关键词 数学公式识别 数学公式定位 电子文档 中文文档

在线阅读 下载PDF 职称材料

基于粘连符号分割和多特征融合的手写公式识别 被引量：4

18

作者 付鹏斌 李建君 杨惠荣 《北京工业大学学报》 CAS CSCD 北大核心 2021年第8期842-853,共12页

为了解决字符粘连影响脱机手写数学公式自动识别的问题,提出一种基于字符轮廓特征的单点粘连符号切分方法.首先利用字符上下两侧轮廓方向码信息得到切分点和切分方向;然后结合宽度、高度、角点个数、投影轮廓等几何特性对切分后的字符... 为了解决字符粘连影响脱机手写数学公式自动识别的问题,提出一种基于字符轮廓特征的单点粘连符号切分方法.首先利用字符上下两侧轮廓方向码信息得到切分点和切分方向;然后结合宽度、高度、角点个数、投影轮廓等几何特性对切分后的字符片段实现多特征融合的特殊符号识别,并将特殊符号从整体数学公式中进行有效分离;最后结合特殊符号与周围字符的上下左右、重叠、半包围等空间位置关系特性实现结构的解析,并将经过卷积神经网络识别后的普通字符代入结构解析序列,实现公式的整体识别.实验结果表明:该方法能有效处理数学公式中粘连情况及特殊符号识别;粘连符号的切分准确率达到87.25%,提高了手写数学公式的整体识别率. 展开更多

关键词 数学公式识别 粘连符号切分 结构特征 特殊符号 字符识别 卷积神经网络

在线阅读 下载PDF 职称材料

基于Transformer模型的手写数学公式语法树解码器

19

作者 周伯瀚 曹健 王源 《北京大学学报（自然科学版）》 EI CAS CSCD 北大核心 2023年第6期909-914,共6页

目前对数学公式进行树结构解码的方法大多基于循环神经网络的结构,训练效率低,训练过程复杂,基于此问题,提出一种基于Transformer结构的手写数学公式识别模型,可以直接对公式的语法树进行解码。在手写公式识别任务多个数据集上的实验结... 目前对数学公式进行树结构解码的方法大多基于循环神经网络的结构,训练效率低,训练过程复杂,基于此问题,提出一种基于Transformer结构的手写数学公式识别模型,可以直接对公式的语法树进行解码。在手写公式识别任务多个数据集上的实验结果表明,所提出的Transformer树解码方法都取得超越Trans-former序列解码方法的性能,并展现出超越循环神经网络树解码方法的潜力。 展开更多

关键词 手写数学公式识别 TRANSFORMER 树解码器 图表理解

在线阅读 下载PDF 职称材料

基于轮廓特征的印刷公式粘连符号的切分 被引量：1

20

作者 田学东 张艳 王亮 《计算机工程与应用》 CSCD 北大核心 2008年第4期176-178,共3页

在印刷体数学公式识别中,不能准确地切分粘连符号是造成识别错误的主要原因之一。针对这种情况,提出了一种基于轮廓特征切分粘连符号的方法。根据轮廓特征及宽高比形成切分路径,然后对粘连字符切分。实验表明,这种方法使识别率得到了明... 在印刷体数学公式识别中,不能准确地切分粘连符号是造成识别错误的主要原因之一。针对这种情况,提出了一种基于轮廓特征切分粘连符号的方法。根据轮廓特征及宽高比形成切分路径,然后对粘连字符切分。实验表明,这种方法使识别率得到了明显提高。 展开更多

关键词 数学公式识别 切分 粘连符号 轮廓特征

在线阅读 下载PDF 职称材料