一种识别和检测人工智能生成文本的算法

1

作者 王雨欣 刘柯飞 +1 位作者 李雪莲 王红军 《电讯技术》 北大核心 2025年第3期378-384,共7页

针对目前人工智能(Artificial Intelligence,AI)生成文本的滥用导致的学术不端、侵犯版权、隐私保护和舆情监控等问题,提出了一种基于自然语言处理的AI生成文本的识别和检测算法。该算法首先采用Word2vec方法中的连续词袋模型将文本词... 针对目前人工智能(Artificial Intelligence,AI)生成文本的滥用导致的学术不端、侵犯版权、隐私保护和舆情监控等问题,提出了一种基于自然语言处理的AI生成文本的识别和检测算法。该算法首先采用Word2vec方法中的连续词袋模型将文本词转换成词向量,并将词向量累加获得文本向量。随后利用softmax函数获取文本向量的概率分布,通过统计可视化分析AI生成文本的基本规律,并采用余弦相似性来判断文本类型。其次采用支持向量机递归特征消除算法判断文本是否由AI生成,通过K-近邻算法对文本重生成次数进行判断,进一步细化了文本检测的粒度。通过仿真实验验证了算法的有效性,结果显示算法识别准确率达80%及以上。 展开更多

关键词 AI生成文本检测 文本向量 余弦相似性 支持向量机(SVM) K-近邻(KNN)算法

在线阅读 下载PDF 职称材料

面向网络欺凌文本检测模型的算法解释及其故事化呈现研究 被引量：2

2

作者 靳庆文 李胡蓉 徐红霞 《现代情报》 CSSCI 北大核心 2024年第9期59-70,共12页

[目的/意义]利用可解释性技术与故事化方法研究网络欺凌检测有助于识别欺凌内容、参与网络言论治理以及净化网络生态。[方法/过程]详细分析LIME解释算法的选择依据与文本解释原理,并提出LIME算法在网络欺凌检测模型中的“钻石结构式”... [目的/意义]利用可解释性技术与故事化方法研究网络欺凌检测有助于识别欺凌内容、参与网络言论治理以及净化网络生态。[方法/过程]详细分析LIME解释算法的选择依据与文本解释原理,并提出LIME算法在网络欺凌检测模型中的“钻石结构式”应用流程,进一步构建了“数据层—模型层—解释层—叙事层”的故事化呈现框架,最后通过实验验证了该框架的有效性。[结果/结论]可解释性技术辅助网络欺凌检测模型有利于提高模型应用价值与可信度,权衡模型准确性与可解释性二者的关系,而基于数据分析及解释结果的故事化呈现方法为网络信息平台数据治理提供可信、可靠、可理解依据。 展开更多

关键词 网络欺凌 文本检测 LIME算法 算法解释 数据故事化

在线阅读 下载PDF 职称材料

一种基于角点与BP神经网络的文本检测及定位算法 被引量：1

3

作者 唐思源 高琦 邢俊凤 《现代电子技术》 北大核心 2016年第4期112-115,共4页

检测并提取视频图像中的文本信息对视频图像和内容的理解意义重大。以现有的文本检测算法为基础,提出一种基于角点与BP神经网络相结合的文本检测算法。该算法首先应用多尺度角点算法提取文本角点信息并初步定位文本行,接着提取文本特征... 检测并提取视频图像中的文本信息对视频图像和内容的理解意义重大。以现有的文本检测算法为基础,提出一种基于角点与BP神经网络相结合的文本检测算法。该算法首先应用多尺度角点算法提取文本角点信息并初步定位文本行,接着提取文本特征,最后应用BP神经网络精确定位文本。实验结果表明,此算法与经典方法相比具有更高的正确率和鲁棒性,视频中文本的正确检测率达到90.3%。 展开更多

关键词 文本检测算法 多尺度角点算法 BP神经网络 文本信息提取

在线阅读 下载PDF 职称材料

基于对象建议算法的自然场景文本检测 被引量：6

4

作者 哈恩楠 吉立新 高超 《计算机应用研究》 CSCD 北大核心 2018年第2期624-627,636,共5页

对象建议算法(object proposals)是对象检测中的常用算法,用于快速定位物体区域。根据自然场景文本的特点,将对象建议算法应用到文本检测中,并与经典的最稳定极值区域算法相结合;然后,通过贝叶斯模型融合了笔画宽度特征、视觉散度特征... 对象建议算法(object proposals)是对象检测中的常用算法,用于快速定位物体区域。根据自然场景文本的特点,将对象建议算法应用到文本检测中,并与经典的最稳定极值区域算法相结合;然后,通过贝叶斯模型融合了笔画宽度特征、视觉散度特征和边缘梯度特征,并将文本和非文本区域的区分问题转换成一个二值标记问题,通过最小化能量函数寻找最佳标记;最后,通过均值漂移聚类寻找文本区域的中心生成文本行。经实验证明,本算法在常用的自然场景文本检测数据集上速度得到了提高,并且一定程度上解决了传统最稳定极值区域算法对光照敏感的问题,获得了较高的查全率。 展开更多

关键词 对象建议算法 最稳定极值区域 贝叶斯分类器 自然场景文本检测

在线阅读 下载PDF 职称材料

新的文本图像倾斜检测及校正算法 被引量：3

5

作者 岳宁 段会川 《计算机工程与设计》 CSCD 北大核心 2007年第23期5671-5673,共3页

在文档扫描过程中,文档可能会发生倾斜,而很多字符识别和布局分析算法都对倾斜十分敏感,文本图像的倾斜检测及校正就成为文档分析不可缺少的环节。提出了一种新的倾斜文本图像的校正方法,该方法首先获取文档图像的boun- ding box,以boun... 在文档扫描过程中,文档可能会发生倾斜,而很多字符识别和布局分析算法都对倾斜十分敏感,文本图像的倾斜检测及校正就成为文档分析不可缺少的环节。提出了一种新的倾斜文本图像的校正方法,该方法首先获取文档图像的boun- ding box,以bounding box面积最小作为倾斜校正的最终目标,并使用遗传算法搜索该最小值。实验结果表明,该算法对倾斜角的检测具有较高的精确度。 展开更多

关键词 倾斜检测 倾斜校正 遗传算法 文本倾斜 外接矩形

在线阅读 下载PDF 职称材料

基于随机区域扩张算法的多方向文本检测

6

作者 哈恩楠 吉立新 高超 《计算机工程与设计》 北大核心 2018年第4期1095-1099,共5页

针对传统文本检测方法只能定位水平文本或近水平文本的问题,提出随机区域扩张算法,定位任意方向文本。使用最稳定极值区域算法对输入图片预处理,得到文本备选区域;设计3个尺度不变、方向鲁棒的特征,通过贝叶斯算法融合多特征生成概率映... 针对传统文本检测方法只能定位水平文本或近水平文本的问题,提出随机区域扩张算法,定位任意方向文本。使用最稳定极值区域算法对输入图片预处理,得到文本备选区域;设计3个尺度不变、方向鲁棒的特征,通过贝叶斯算法融合多特征生成概率映射,使用条件随机场模型标记文本和非文本区域;提出随机区域扩张算法,将属于相同文本行的字符连接在一起,寻找包围文本行的最小区域,定位多方向文本。实验结果表明,该算法在自然场景文本经典数据集上取得了较好的效果,能够较好定位任意方向的文本。 展开更多

关键词 最稳定极值区域 贝叶斯算法 随机区域扩张算法 自然场景文本检测 多方向文本定位

在线阅读 下载PDF 职称材料

基于XML的C代码抄袭检测算法 被引量：15

7

作者 钟美 张丽萍 刘东升 《计算机工程与应用》 CSCD 北大核心 2011年第8期215-218,235,共5页

主要研究一种基于XML文本的C代码抄袭检测算法。将C程序源代码转化为XML文本,提取XML文本各行标记的属性,计算XML文本行的相似值,得到程序对的相似度。并对抄袭检测算法实行分类测试:按十二种抄袭手段分类;按复杂语义和复杂数据结构分... 主要研究一种基于XML文本的C代码抄袭检测算法。将C程序源代码转化为XML文本,提取XML文本各行标记的属性,计算XML文本行的相似值,得到程序对的相似度。并对抄袭检测算法实行分类测试:按十二种抄袭手段分类;按复杂语义和复杂数据结构分类。测试结果对比验证了抄袭检测算法的有效性。 展开更多

关键词 XML文本 C代码 相似度 抄袭检测算法

在线阅读 下载PDF 职称材料

基于文本聚类的网络攻击检测方法 被引量：6

8

作者 杨晓峰 李伟 +1 位作者 孙明明 胡雪蕾 《智能系统学报》 CSCD 北大核心 2014年第1期40-46,共7页

针对Web服务应用的攻击是近年来网络上广泛传播的攻击方式,现有的攻击检测算法多采用监督学习的方法确定正常行为和攻击行为的分类边界;但由于监督检测模型在检测之前需要复杂的学习过程,往往会降低系统的实用效果。因此,根据现实中正... 针对Web服务应用的攻击是近年来网络上广泛传播的攻击方式,现有的攻击检测算法多采用监督学习的方法确定正常行为和攻击行为的分类边界;但由于监督检测模型在检测之前需要复杂的学习过程,往往会降低系统的实用效果。因此,根据现实中正常访问样本和攻击样本在数量和分布上的差异,提出了一种基于文本聚类的非监督检测算法。算法首先采用迭代聚类过程聚类样本,直至聚为一类;同时根据异常与正常样本的分布规律,在聚类过程中选择最优的最大类别作为正常样本类,将其余的作为异常样本类。最优方案的选择采用了使得分类误差最小的原则确定。实验表明,与多种经典检测方法相比,该方法省去了复杂的学习过程,增强了方法的适应性,具有较好的检测率和误报率。 展开更多

关键词 网络攻击 网络攻击检测 文本聚类 非监督检测算法

在线阅读 下载PDF 职称材料

一种结合LSTM和集成算法的文本校对模型 被引量：11

9

作者 陶永才 吴文乐 +2 位作者 海朝阳 石磊 卫琳 《小型微型计算机系统》 CSCD 北大核心 2020年第5期967-971,共5页

伴随着互联网的飞速发展,各行各业产生了大量的电子文本数据,但是这些文本经常存在语义错误,数据质量良莠不齐,如何提高电子文本的质量是亟待解决的难题.本文设计一种基于集成算法和长短时记忆网络的集成模型,提高语义特征检测和校对的... 伴随着互联网的飞速发展,各行各业产生了大量的电子文本数据,但是这些文本经常存在语义错误,数据质量良莠不齐,如何提高电子文本的质量是亟待解决的难题.本文设计一种基于集成算法和长短时记忆网络的集成模型,提高语义特征检测和校对的准确性.主要工作分为三部分:(1)使用神经网络和HowNet学习词语-义原之间的搭配关系;(2)将抽象化信息输入至长短时记忆网络集成模型,预测语义搭配关系;(3)结合模糊匹配方法,依据聚合度对预测结果投票并排序,将排名靠前的结果作为校对建议输出.实验结果显示,本文提出的校对模型和算法与其他文献相比在检错准确率和校对准确率上分别提高了1.8%和2.3%. 展开更多

关键词 文本校对 模糊匹配 集成算法 特征检测

在线阅读 下载PDF 职称材料

基于粒子群优化的文本图像倾斜检测 被引量：1

10

作者 李树涛 沈庆华 《湖南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2007年第11期47-50,共4页

提出一种基于粒子群优化算法和小波变换的无限制文本倾斜检查方法.首先对扫描的文本图像进行小波变换,然后利用小波变换的水平细节子带提取反映图像倾斜的特征,作为粒子群优化算法的适应度函数.最后利用粒子群优化算法在-90°到90&#... 提出一种基于粒子群优化算法和小波变换的无限制文本倾斜检查方法.首先对扫描的文本图像进行小波变换,然后利用小波变换的水平细节子带提取反映图像倾斜的特征,作为粒子群优化算法的适应度函数.最后利用粒子群优化算法在-90°到90°区间进行搜索,得到准确的倾斜角度.由于采用了小波变换,一方面降低了PSO搜索的计算量,又能更好地反映倾斜特征.实验结果表明,该方法能快速准确地检测出各类文本图像的倾斜角度,并具有很好的适应性,不受语言、字体、字号和非文本图形等因素的影响.最后还讨论了粒子数目、迭代次数和适应度函数对算法性能的影响. 展开更多

关键词 文本分析 倾斜检测 小波变换 粒子群算法

在线阅读 下载PDF 职称材料

自然场景中多方向文本的检测 被引量：2

11

作者 方承志 黄梅玲 《计算机工程与设计》 北大核心 2018年第5期1377-1381,共5页

考虑到字符的形状、大小、背景和对齐方式的多样性,提出基于笔画宽度构建多方向候选区域串的模型,用于检测任意定向和弯曲的场景文本。在提取图像最大稳定极值区域(MSER)的基础上,应用剪枝算法获取孤立的连通区域,应用笔画宽度变换(SWT... 考虑到字符的形状、大小、背景和对齐方式的多样性,提出基于笔画宽度构建多方向候选区域串的模型,用于检测任意定向和弯曲的场景文本。在提取图像最大稳定极值区域(MSER)的基础上,应用剪枝算法获取孤立的连通区域,应用笔画宽度变换(SWT)获得字符候选区域,使用丢失字符恢复的算法得到候选文本行,根据多向文本行的特征应用AdaBoost算法对文本行进行分类。仿真结果表明,该算法对任意笔画宽度、任意方向的文本均可以进行检测,取得了较好的效果。 展开更多

关键词 文本检测 最大稳定极值区域 笔画宽度变换 ADABOOST算法 丢失字符恢复算法

在线阅读 下载PDF 职称材料

一种改进的网络突发话题检测算法

12

作者 哈艳 杜瑞忠 +2 位作者 钟莲 张东琦 李森 《河北大学学报（自然科学版）》 CAS 北大核心 2015年第5期526-531,共6页

引进文本相关度这一影响因子,提出了一种基于蚁群聚类算法的突发话题检测算法,该算法结合蚁群聚类算法的优势,综合考虑文本聚类和文本相关度的影响,得到对网络突发话题检测的最优聚类效果,并对近年来网络突发话题进行实验,达到了很好的... 引进文本相关度这一影响因子,提出了一种基于蚁群聚类算法的突发话题检测算法,该算法结合蚁群聚类算法的优势,综合考虑文本聚类和文本相关度的影响,得到对网络突发话题检测的最优聚类效果,并对近年来网络突发话题进行实验,达到了很好的聚类速度和聚类效果,验证了算法对突发话题检测的准确性和即时性. 展开更多

关键词 网络舆情 突发话题检测 文本相关度 蚁群聚类算法

在线阅读 下载PDF 职称材料

基于注意力机制的自然场景文本检测 被引量：5

13

作者 宋彭彭 曾祥进 +1 位作者 郑安义 米勇 《电子测量技术》 北大核心 2021年第14期122-127,共6页

针对自然场景文本检测中没有明确全局特征的重要性,导致文本检测过程中存在文本的误检、漏检问题,提出了基于注意力机制的自然场景文本检测方法。该方法在CTPN网络的基础上,利用ResNet网络及特征融合技术提取更深层次的多层网络文本特征... 针对自然场景文本检测中没有明确全局特征的重要性,导致文本检测过程中存在文本的误检、漏检问题,提出了基于注意力机制的自然场景文本检测方法。该方法在CTPN网络的基础上,利用ResNet网络及特征融合技术提取更深层次的多层网络文本特征;同时将注意力机制引入改进后的特征提取网络中,通过从所有位置聚集的相同特征来增强原始特征,并获取注意力权重,对全局注意力进行汇集,明确需要关注的特征。其次,针对自然场景下文本定位精度不高的问题,使用GIoU损失代替坐标损失,同时引入Focal Loss损失函数对原有损失函数进行改进。实验表明,该方法在自然场景文本图片检测中获得了83%的召回率、87%的准确率和85%的F值,保证了文本检测过程中文本信息的完整性。 展开更多

关键词 文本检测 ctpn ResNet 注意力机制 GIoU Focal Loss

在线阅读 下载PDF 职称材料

基于改进深度学习算法的文本极性智能判断方法研究 被引量：5

14

作者 宋思晗 王兴芬 杜惠英 《现代电子技术》 北大核心 2020年第1期76-79,85,共5页

为了解决传统的文本极性智能判断方法判断结果准确率和召回率普遍较低的问题,基于改进深度学习算法研究一种新的文本极性智能判断方法。在CNN结构基础上设计一种新的深度学习算法模型,模型由输入层、输出层、采集层、连接层、卷积层五... 为了解决传统的文本极性智能判断方法判断结果准确率和召回率普遍较低的问题,基于改进深度学习算法研究一种新的文本极性智能判断方法。在CNN结构基础上设计一种新的深度学习算法模型,模型由输入层、输出层、采集层、连接层、卷积层五部分构成。使用该模型对文本进行智能判断,判断过程共有五步,分别是文本预处理、情感词提取、表情符号提取、感情倾向值计算和情感最终倾向值分析。为检测所提方法的有效性以及优越性,与传统判断方法进行实验对比,结果表明,基于改进深度学习算法的文本极性智能判断方法判断的准确率和召回率更高,发展空间更广阔。 展开更多

关键词 文本极性 智能判断方法 算法模型设计 有效性检测 深度学习算法 文本预处理

在线阅读 下载PDF 职称材料

基于SWT法网络社交平台图像文本检测 被引量：1

15

作者 乔平安 刘佩龙 《现代电子技术》 北大核心 2019年第20期48-52,共5页

网络社交平台图像包含丰富的文本信息,而文本检测是提取这些文本信息的基础。针对网络社交平台图像的特点,提出一种基于笔画宽度变换(Stroke Width Transform)的检测图像文本的方法。该方法首先预处理输入的图像,接着按照分布规则检测... 网络社交平台图像包含丰富的文本信息,而文本检测是提取这些文本信息的基础。针对网络社交平台图像的特点,提出一种基于笔画宽度变换(Stroke Width Transform)的检测图像文本的方法。该方法首先预处理输入的图像,接着按照分布规则检测图像文本区域,然后根据形态规则和笔画特征规则筛除非文本区域,最后输出检测的文本区域结果。仿真实验结果表明,该方法能够准确检测网络社交平台图像文本区域,效率较好。 展开更多

关键词 图像文本检测 网络社交平台 笔画宽度变换 文本区域检测 算法流程 仿真验证

在线阅读 下载PDF 职称材料

基于藏文新闻文本话题检测的聚类算法研究

16

作者 曹晖 孟祥和 《华中师范大学学报（自然科学版）》 CAS 北大核心 2014年第1期37-41,共5页

话题检测的提出是为了帮助人们从海量的新闻报道中发现未知的新话题,其中文本聚类算法的研究,是实现藏文新闻文本的话题检测技术的核心.本文提出一种聚类算法,是基于简易聚类算法的改进,首先改进了文本顺序对聚类结果产生的影响,其次通... 话题检测的提出是为了帮助人们从海量的新闻报道中发现未知的新话题,其中文本聚类算法的研究,是实现藏文新闻文本的话题检测技术的核心.本文提出一种聚类算法,是基于简易聚类算法的改进,首先改进了文本顺序对聚类结果产生的影响,其次通过确定种子话题,来确定话题的类别.本研究的聚类算法在较小规模的语料中比改进前源算法有一定程度的提高.本文的研究对象是藏文网站中的新闻文本. 展开更多

关键词 聚类算法 种子话题 藏文新闻文本 话题检测

在线阅读 下载PDF 职称材料

人工免疫系统中的抗体生成与匹配算法 被引量：9

17

作者 徐佳 张卫 《计算机工程》 CAS CSCD 北大核心 2010年第9期181-183,共3页

现有的人工免疫系统被应用于文本识别中时,检测器生成算法对不同基因等质化对待,不能最优反应基因在抗体中出现的频率。针对该问题,提出基因显性度的概念,通过在检测器生成算法及匹配算法中引入基因显性度的因子来提高算法效率。实验结... 现有的人工免疫系统被应用于文本识别中时,检测器生成算法对不同基因等质化对待,不能最优反应基因在抗体中出现的频率。针对该问题,提出基因显性度的概念,通过在检测器生成算法及匹配算法中引入基因显性度的因子来提高算法效率。实验结果表明,显性度的引入可降低检测器生成算法约30%的时间复杂度。 展开更多

关键词 人工免疫系统 文本识别 匹配算法 检测器生成 显性度

在线阅读 下载PDF 职称材料

基于深度学习的指针式仪表检测与识别研究 被引量：36

18

作者 徐发兵 吴怀宇 +1 位作者 陈志环 喻汉 《高技术通讯》 EI CAS 北大核心 2019年第12期1206-1215,共10页

为了解决变电站指针式仪表读数识别中指针区域提取困难、指针中心线定位误差大以及识别精度较差等问题,针对变电站中常见的刻度分布均匀的指针式仪表,提出了一种基于深度学习的指针式仪表自动检测与识别方法。首先,利用卷积神经网络模... 为了解决变电站指针式仪表读数识别中指针区域提取困难、指针中心线定位误差大以及识别精度较差等问题,针对变电站中常见的刻度分布均匀的指针式仪表,提出了一种基于深度学习的指针式仪表自动检测与识别方法。首先,利用卷积神经网络模型检测当前视野下仪表目标的包围框位置,得到仪表目标图像;然后,利用改进有效和准确的场景文本检测器(EAST)算法对检测到的仪表目标图像进行文本检测,检测出仪表图像中的文本图像,利用设计的印刷体数字识别模型对文本图像进行识别,筛选出仪表刻度数字,得到仪表刻度数字的位置信息与数值;最后,通过仪表刻度数字的位置信息提取出仪表指针直线与仪表中心,通过识别出的数值结合角度法完成仪表读数识别。通过大量实验对所提出的指针式仪表读数检测与识别方法进行验证,实验结果表明,本文所提出的仪表识别方法的平均准确率高于98.5%,对于复杂背景下指针式仪表的自动检测与识别任务具有良好的准确性与稳定性,可满足变电站实际应用需求。 展开更多

关键词 深度学习 指针式仪表识别 卷积神经网络 改进场景文本检测器(EAST)算法

在线阅读 下载PDF 职称材料

蒙古语长音频语音文本自动对齐的研究 被引量：5

19

作者 牛米佳 飞龙 高光来 《中文信息学报》 CSCD 北大核心 2020年第1期51-57,共7页

目前,面向蒙古语的语音识别语音库资源相对稀缺,但存在较多的电视剧、广播等蒙古语音频和对应的文本。该文提出基于语音识别的蒙古语长音频语音文本自动对齐方法,实现蒙古语电视剧语音的自动标注,扩充了蒙古语语音库。在前端处理阶段,... 目前,面向蒙古语的语音识别语音库资源相对稀缺,但存在较多的电视剧、广播等蒙古语音频和对应的文本。该文提出基于语音识别的蒙古语长音频语音文本自动对齐方法,实现蒙古语电视剧语音的自动标注,扩充了蒙古语语音库。在前端处理阶段,使用基于高斯混合模型的语音端点检测技术筛选并删除噪音段;在语音识别阶段,构建基于前向型序列记忆网络的蒙古语声学模型;最后基于向量空间模型,将语音识别得到的假设序列和参考音素序列进行句子级别的动态时间归整算法匹配。实验结果表明,与基于Needleman-Wunsch算法的语音对齐比较,该文提出的蒙古语长音频语音文本自动对齐方法的对齐正确率提升了31.09%。 展开更多

关键词 蒙古语 语音端点检测 语音文本对齐 动态时间归整算法

在线阅读 下载PDF 职称材料

电子文件智能归档系统设计实现的演进逻辑与优化策略 被引量：2

20

作者 胡文学 丁海斌 +2 位作者 赵婧尧 罗夏钻 颜晗 《档案管理》 北大核心 2024年第3期34-38,共5页

伴随档案信息化进程的发展,电子文件智能归档问题的研究逐渐成为我国档案学者们近年来关注的焦点之一。智能归档不仅需要明确归档范围作为制度保障,还需要文本、图像等相似度算法比对原理和机器学习算法等人工智能技术的支持。本文中所... 伴随档案信息化进程的发展,电子文件智能归档问题的研究逐渐成为我国档案学者们近年来关注的焦点之一。智能归档不仅需要明确归档范围作为制度保障,还需要文本、图像等相似度算法比对原理和机器学习算法等人工智能技术的支持。本文中所介绍的系统通过对拟归档文件进行智慧排查,经过系统内置清单、系统比对、四性检测合格后智能形成元数据,最终向档案管理部门办理移交。智能归档与一般电子文件归档方式相比,具有智能化、自动化、一体化、网络化等特点。 展开更多

关键词 电子文件 归档 智能归档 文本相似度算法 人工智能 机器学习 四性检测 元数据

在线阅读 下载PDF 职称材料