基于遗传神经网络的相似重复记录检测方法研究 被引量：1

1

作者 肖蕾 郭乐江 +1 位作者 胡亚慧 程敏 《舰船电子工程》 2011年第2期168-170,176,共4页

设计实现了一个相似重复记录检测系统,该系统包括预处理模块、聚类模块、字段匹配模块和记录匹配模块,支持聚类算法和字段匹配算法的定制扩充。并通过实验对比了几种著名的算法,实验结果表明该系统提高了相似重复记录检测的精确度。

关键词 遗传神经网络 相似重复记录检测系统 聚类算法 字段匹配算法

在线阅读 下载PDF 职称材料

基于MapReduce模型的大数据相似重复记录检测算法 被引量：41

2

作者 宋人杰 余通 +2 位作者 陈宇红 陈宇阳 夏滨 《上海交通大学学报》 EI CAS CSCD 北大核心 2018年第2期214-221,共8页

针对大数据来源多、维度高和体量大的特点,提出一种云环境下检测大数据相似重复记录的并行算法MP-SYYT.利用汉语词法分析技术、德尔菲法以及词频-逆向文件频率算法对传统的SimHash算法进行改进,以解决算法中关键词提取速度慢、精度和权... 针对大数据来源多、维度高和体量大的特点,提出一种云环境下检测大数据相似重复记录的并行算法MP-SYYT.利用汉语词法分析技术、德尔菲法以及词频-逆向文件频率算法对传统的SimHash算法进行改进,以解决算法中关键词提取速度慢、精度和权重计算精度低的问题;利用倒排索引算法对传统SimHash算法进行优化,以提高其相似重复记录的匹配效率;利用所提MP-SYYT算法在云平台上定义Map函数和Reduce函数,并用MapReduce模型在云环境下实现了大数据相似重复记录的并行检测和直接输出;在Hadoop平台上进行实例分析,以验证MP-SYYT算法的高效性和实用性. 展开更多

关键词 云环境 大数据 相似重复记录 并行检测 冗余识别

在线阅读 下载PDF 职称材料

基于Hadoop的大规模电网数据相似重复记录并行检测策略 被引量：2

3

作者 宋人杰 余通 《科技通报》 2018年第7期138-144,共7页

针对电网数据来源多、维度高、体量大的特点,提出云环境下大规模电网数据相似重复记录并行检测算法MP-MATCH;首先,引入海明距离、倒排索引算法和狄利克雷抽屉原理对Sim Hash算法改进,解决相似重复记录检测精度和效率缺失的问题;其次,基... 针对电网数据来源多、维度高、体量大的特点,提出云环境下大规模电网数据相似重复记录并行检测算法MP-MATCH;首先,引入海明距离、倒排索引算法和狄利克雷抽屉原理对Sim Hash算法改进,解决相似重复记录检测精度和效率缺失的问题;其次,基于MapReduce模型设计改进的Sim Hash算法的并行执行策略,实现云环境下大规模电网数据相似重复记录并行检测;最后,在Hadoop平台上进行实例对比分析,结果表明了算法的高效性和精确性,并具有良好的伸缩性和加速比,适用于大规模电网数据的相似重复记录并行检测。 展开更多

关键词 电网数据 相似重复记录 HADOOP 并行检测

在线阅读 下载PDF 职称材料

基于多目标蚁群优化的单类支持向量机相似重复记录检测 被引量：12

4

作者 吕国俊 曹建军 +3 位作者 郑奇斌 常宸 翁年凤 彭琮 《兵工学报》 EI CAS CSCD 北大核心 2020年第2期324-331,共8页

为解决数据源中相似重复记录样本稀少问题,提出一种基于多目标蚁群优化的单类支持向量机相似重复记录分类检测方法。根据记录对中2条记录是否相似,将相似重复记录检测建模为二分类问题,用单类支持向量机进行分类,并且只用不相似重复记... 为解决数据源中相似重复记录样本稀少问题,提出一种基于多目标蚁群优化的单类支持向量机相似重复记录分类检测方法。根据记录对中2条记录是否相似,将相似重复记录检测建模为二分类问题,用单类支持向量机进行分类,并且只用不相似重复记录样本对进行训练;选择合适的属性相似度函数计算记录对之间的相似特征向量,将其作为单类支持向量机分类器的输入进行二分类检测;建立以查准率、查全率、特征数量综合最优为目标的多目标特征选择模型,结合训练样本为单类样本的特点,将启发式因子定义为类内散度最小化约束,设计了求解模型的多目标蚁群算法。通过将单类支持向量机算法和支持向量域描述算法、传统二分类支持向量机算法进行对比,结果验证了单类支持向量机算法的有效性和优越性。 展开更多

关键词 数据清洗 相似重复记录检测 多目标蚁群算法 特征选择 单类支持向量机 支持向量域描述

在线阅读 下载PDF 职称材料

入侵检测系统中基于变量相似性特征选择

5

作者 朱永宣 单莘 郭军 《微电子学与计算机》 CSCD 北大核心 2005年第10期34-36,39,共4页

ReliefF是一种在很多场合经常使用的filter式的特征选择方法,然而该方法的一大缺点是不能辨别冗余特征。基于ReliefF算法提出一种混合的有监督的特征选择算法。该算法首先利用ReliefF算法去除与分类无关的以及权重低于一定阈值的特征,... ReliefF是一种在很多场合经常使用的filter式的特征选择方法,然而该方法的一大缺点是不能辨别冗余特征。基于ReliefF算法提出一种混合的有监督的特征选择算法。该算法首先利用ReliefF算法去除与分类无关的以及权重低于一定阈值的特征,然后采用一种变量相似性准则来去除冗余特征。在实际的数据集KDDCUP蒺99上进行的实验结果表明该混合特征选择方法较单独使用ReliefF方法在分类精度上有一定的提高。 展开更多

关键词 入侵检测系统 变量相似性 有监督特征选择 冗余特征 RELIEFF算法

在线阅读 下载PDF 职称材料

基于系统调用行为相似性聚类的主机入侵检测方法研究 被引量：5

6

作者 李橙 罗森林 《信息安全研究》 2021年第9期828-835,共8页

基于内核模块抽象的主机入侵检测方法中,同一内核模块的部分系统调用存在较大行为差异,且不同内核模块也含有行为相似的系统调用,造成行为抽象映射的混淆,影响检测效果.提出了一种基于系统调用行为相似性聚类的主机入侵检测方法,首先利... 基于内核模块抽象的主机入侵检测方法中,同一内核模块的部分系统调用存在较大行为差异,且不同内核模块也含有行为相似的系统调用,造成行为抽象映射的混淆,影响检测效果.提出了一种基于系统调用行为相似性聚类的主机入侵检测方法,首先利用Word2Vec构建连续稠密词向量实现多维度系统调用行为语义相似性信息提取,再使用聚类算法对系统调用进行抽象表征,减小行为抽象映射的混淆.基于ADFA-LD和ADFA-WD数据集的实验结果表明,该方法能够有效降低行为抽象表征的混淆,提升检测效果.同时,可通过选取聚类簇数较大幅度提高检测时间效率,实用价值大. 展开更多

关键词 行为相似性 Word2Vec 聚类 系统调用 主机入侵检测

在线阅读 下载PDF 职称材料

基于功率谱分析的文本相似性检测系统 被引量：1

7

作者 石磊 《信息技术与信息化》 2015年第6期189-190,共2页

近几年,信息技术发展迅速,同时与信息技术相关的其他技术也迅速发展。其中,信息管理方式中文本管理技术也在不断的发展。在信息技术下各种各样的信息向我们袭来,必须要有一种信息管理系统来满足我们对信息的筛选,完成文本分类。传统的... 近几年,信息技术发展迅速,同时与信息技术相关的其他技术也迅速发展。其中,信息管理方式中文本管理技术也在不断的发展。在信息技术下各种各样的信息向我们袭来,必须要有一种信息管理系统来满足我们对信息的筛选,完成文本分类。传统的文本管理系统分类结果不精确,常常出现错误判断,影响信息质量。目前,必须对信息管理进行优化,促进信息质量的提高。本文主要分析基于功率谱分析的文本相似性检测系统。 展开更多

关键词 功率谱 文本 相似性 检测系统

在线阅读 下载PDF 职称材料

基于比对矩阵模型的信息相似性检测系统设计 被引量：2

8

作者 陶秀杰 周育忠 王宏 《电子设计工程》 2020年第8期118-122,共5页

为解决因数据过量重复而带来的信息网络运行过慢问题,设计基于比对矩阵模型的信息相似性检测系统,进行相似检测相关关键技术与模型算法研究。在总体功能架构中,规范化连接相似性信息捕获模块与检测分发模块,实现信息相似性检测系统硬件... 为解决因数据过量重复而带来的信息网络运行过慢问题,设计基于比对矩阵模型的信息相似性检测系统,进行相似检测相关关键技术与模型算法研究。在总体功能架构中,规范化连接相似性信息捕获模块与检测分发模块,实现信息相似性检测系统硬件运行环境搭建。在此基础上,根据相似性信息数据识别结果,建立全新的比对矩阵模型,并以此为条件,对检测数据库进行定容处理,实现信息相似性检测系统软件运行环境搭建,结合相关硬件执行结构,完成基于比对矩阵模型的信息相似性检测系统设计。对比实验结果表明应用信息相似性检测系统后,单一节点内重复数据总量不超过3.8×10^11T,数据重复频率始终低于40%。 展开更多

关键词 比对矩阵 信息相似性 检测系统 功能架构 信息捕获 检测分发 数据识别

在线阅读 下载PDF 职称材料

激光干扰对CCD成像系统目标检测性能的影响 被引量：16

9

作者 徐银 孙晓泉 邵立 《红外与激光工程》 EI CSCD 北大核心 2012年第4期989-993,共5页

分析成像系统的工作过程及常用检测算法,针对激光干扰图像的特点,结合背景杂波的量化方法,提出基于目标背景结构相似度与平方和根的图像尺度。该尺度利用结构相似度在成像检测方面以及平方和根尺度在目标局部对比度方面的优点,适用于激... 分析成像系统的工作过程及常用检测算法,针对激光干扰图像的特点,结合背景杂波的量化方法,提出基于目标背景结构相似度与平方和根的图像尺度。该尺度利用结构相似度在成像检测方面以及平方和根尺度在目标局部对比度方面的优点,适用于激光干扰后检测算法性能的评估。激光视场内干扰与视场外干扰的实验显示:激光干扰使得Otsu算法的分割精度受到较大影响;对于相关检测算法,激光干扰会使相关曲面出现较大的波动,增大了虚警概率。研究结果表明:该尺度能够较好地反映激光干扰图像对于CCD成像检测算法性能的影响,初步验证了尺度的有效性。 展开更多

关键词 激光干扰 杂波 结构相似度 成像系统 检测性能

在线阅读 下载PDF 职称材料

基于相似小波变换的电力系统故障信号分析(英文) 被引量：2

10

作者 黄群古 任震 黄雯莹 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2001年第5期5-9,共5页

提出了两种相似Haar小波函数 .这两种小波函数具有对称性、紧支撑等性质 .通过比较 ,证实了这两种相似的小波变换具有较高的计算精度和较好的消噪能力 ,且具有较低的计算复杂度 .此外 ,本文借助于这两种相似Haar小波变换 ,分析了电力系... 提出了两种相似Haar小波函数 .这两种小波函数具有对称性、紧支撑等性质 .通过比较 ,证实了这两种相似的小波变换具有较高的计算精度和较好的消噪能力 ,且具有较低的计算复杂度 .此外 ,本文借助于这两种相似Haar小波变换 ,分析了电力系统几种典型的故障信号 ,证明了这两种相似小波变换方法对于检测电力系统故障信号是非常有效的 . 展开更多

关键词 相似小波变换 电力系统 信号分析 故障检测 相似Haar小波函数 消噪能力

在线阅读 下载PDF 职称材料

石圪台矿2^(-2)煤层矿压显现规律的相似模拟研究

11

作者 王创业 司建锋 +1 位作者 王洪麒 盛军坤 《煤炭技术》 CAS 北大核心 2016年第9期13-15,共3页

以石圪台煤矿地质资料为背景,通过相似模拟试验,制作物理模型,通过分析开采中支架的力学特征,对石圪台煤矿2^(-2)煤层开采工作面的矿压显现规律进行研究。研究表明:在开采过程中矿压显现显著,额定支架工作阻力18 000 k N能够满足生产需... 以石圪台煤矿地质资料为背景,通过相似模拟试验,制作物理模型,通过分析开采中支架的力学特征,对石圪台煤矿2^(-2)煤层开采工作面的矿压显现规律进行研究。研究表明:在开采过程中矿压显现显著,额定支架工作阻力18 000 k N能够满足生产需要;顶板初次来压步距为32 m,周期来压步距为10.5 m;动压系数为1.35,最大动压系数为1.45。 展开更多

关键词 相似模拟 模型支架检测系统 动压系数

在线阅读 下载PDF 职称材料

基于主成分法的空调新风阀故障检测与诊断 被引量：4

12

作者 余莎莎 方兴 +2 位作者 杨学宾 张慧 宴新奇 《东华大学学报（自然科学版）》 CAS 北大核心 2019年第5期735-740,共6页

建立了主成分分析法的空调系统故障检测模型,根据平方预测误差和其阈值大小的比较,判断系统是否发生故障。采用ASHRAE 1312现场实测数据进行方法的测试验证,以新风阀故障的诊断为例,比较并分析了故障贡献图和相似系数两种故障诊断方法... 建立了主成分分析法的空调系统故障检测模型,根据平方预测误差和其阈值大小的比较,判断系统是否发生故障。采用ASHRAE 1312现场实测数据进行方法的测试验证,以新风阀故障的诊断为例,比较并分析了故障贡献图和相似系数两种故障诊断方法。结果表明:当新风阀开度偏离正常运行开度15%时,主成分分析能够有效检测出故障;故障贡献图不需要先验知识便可检测出故障变量,但只能确定出故障设备引起的单一故障变量;与贡献图法相比,相似系数法诊断结果更加可靠,两种故障诊断方法各有优缺点,两者组合能够更加准确地诊断出故障。 展开更多

关键词 故障检测与诊断 空调系统 主成分分析法 贡献图 相似系数

在线阅读 下载PDF 职称材料

一种基于文件损坏度的勒索软件检测方法 被引量：2

13

作者 雷春 李娜 《信息安全研究》 2018年第4期387-392,共6页

在动态检测引擎中,当前检测勒索软件常用的方法主要为设置陷阱文件并检测其指纹变化或监控系统API操作.而这2种方法都不能准确地区分勒索软件和其他类型的恶意代码.为提高其检测准确性,提出文件损坏度这个概念.在动态分析基础上通过模... 在动态检测引擎中,当前检测勒索软件常用的方法主要为设置陷阱文件并检测其指纹变化或监控系统API操作.而这2种方法都不能准确地区分勒索软件和其他类型的恶意代码.为提高其检测准确性,提出文件损坏度这个概念.在动态分析基础上通过模糊哈希、相似度算法等对文件变化进行多维度检测,定量计算出当前文件损坏度,通过文件损坏度反映当前系统所受到的威胁程度,从而确定该样本是否为勒索软件. 展开更多

关键词 勒索软件 文件损坏度 系统损坏度 动态检测 文件相似度

在线阅读 下载PDF 职称材料

瘦肉精的毒害作用及其试纸快速检测技术 被引量：2

14

作者 李明 《食品安全导刊》 2018年第16期38-38,共1页

瘦肉精的定义是具有相似结构的β-肾上腺素受体激动剂,其在临床上可以作为平喘药物,调节平滑肌松弛和支气管扩张,对呼吸系统疾病具有一定的效果。但是瘦肉精摄入量过大,会对神经和心血管产生刺激,从而引起心慌、恶心等不良症状,甚至危... 瘦肉精的定义是具有相似结构的β-肾上腺素受体激动剂,其在临床上可以作为平喘药物,调节平滑肌松弛和支气管扩张,对呼吸系统疾病具有一定的效果。但是瘦肉精摄入量过大,会对神经和心血管产生刺激,从而引起心慌、恶心等不良症状,甚至危及生命。 展开更多

关键词 快速检测技术 瘦肉精 毒害作用 肾上腺素受体激动剂 试纸 呼吸系统疾病 相似结构 不良症状

在线阅读 下载PDF 职称材料

多型号复杂轮廓零件视觉识别技术在汽车制造业中的应用 被引量：1

15

作者 王良涛 《汽车工艺师》 2024年第1期32-36,共5页

考虑到多型号、多变形、相似度高的零件,针对如何实现设备自动防错,提出使用视觉检测系统,通过多模式串行的检测逻辑设计和阈值设计,让设备实现零件自动检测具有防错功能,设备不但自己动起来还能自动判断产品是否合格,真正意义上实现自... 考虑到多型号、多变形、相似度高的零件,针对如何实现设备自动防错,提出使用视觉检测系统,通过多模式串行的检测逻辑设计和阈值设计,让设备实现零件自动检测具有防错功能,设备不但自己动起来还能自动判断产品是否合格,真正意义上实现自动化。根据检测硬件需要结合生产实际条件,搭建检测系统,设计检测方案、HMI界面和软件程序。经过实际应用验证该系统状态稳定,防错功能可靠,有效解决了困扰汽车行业的多型号、复杂轮廓、高相似度零件自动防错的难题。 展开更多

关键词 多型号 多变形 相似度高 视觉检测系统 复杂轮廓

在线阅读 下载PDF 职称材料

基于类比的免疫模型及其应用

16

作者 张常有 曹元大 +2 位作者 杨明华 于炯 朱东锋 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2006年第B07期319-323,共5页

生物免疫系统是一个高度进化的生物系统，它能够智能区分和抵抗外部有害抗原，产生抗体，清除病原，保持机体稳定．仿照生物免疫系统，研究者们提出了人工免疫系统（artificial immune system，AIS）．基于类比推理的免疫模型的核心是... 生物免疫系统是一个高度进化的生物系统，它能够智能区分和抵抗外部有害抗原，产生抗体，清除病原，保持机体稳定．仿照生物免疫系统，研究者们提出了人工免疫系统（artificial immune system，AIS）．基于类比推理的免疫模型的核心是把类比推理方法应用于人工免疫系统的克隆选择和否定选择过程．该模型把遗传算法与AIS相结合，对初始异常行为样本集合进行优化，并从异常性和正常性两方面考虑，提出了网络行为异常概率算法、在此基础上建立了一种网络入侵检测系统模型． 展开更多

关键词 人工免疫系统 类比推理 相似度 遗传算法 入侵检测系统

在线阅读 下载PDF 职称材料

通告

17

《鱼雷技术》 2009年第2期9-9,共1页

自2009年第1期开始，我编辑部采用科技期刊学术不端文献检测系统，对所有投稿文章进行检测，发现有个别文章存在与已发表文章雷同的情况，有些相似度竞高达50％以上。对于此类情况，希望引起作者的高度重视，务必审慎投稿。特此通告。

关键词 检测系统 科技期刊 编辑部 相似度 投稿

在线阅读 下载PDF 职称材料

本刊启事

18

《成才之路》 2012年第12期F0004-F0004,共1页

为进—步提高办刊质量，本刊自2012年5月起，将正式启用“中国知网学术不端文献检测系统”与“万方数据论文相似性检测系统”。

关键词 启事 检测系统 办刊质量 万方数据 学术不端 中国知网 相似性 论文

在线阅读 下载PDF 职称材料

本刊启事

19

《成才之路》 2012年第11期F0004-F0004,共1页

为进一步提高办刊质量，本刊自2012年5月起，将正式启用“中国知网学术不端文献检测系统”与“万方数据论文相似性检测系统”。

关键词 启事 检测系统 办刊质量 万方数据 学术不端 中国知网 相似性 论文

在线阅读 下载PDF 职称材料

本刊启事

20

《成才之路》 2012年第19期F0004-F0004,共1页

为进一步提高办刊质量，本刊自2012年5月起，将正式启用“中国知网学术不端文献检测系统”与“万方数据论文相似性检测系统”。检测系统可有效检测来稿是否存在抄袭、伪造、篡改、

关键词 检测系统 启事 办刊质量 万方数据 学术不端 中国知网 相似性 论文

在线阅读 下载PDF 职称材料