使用ContextCapture软件搭建倾斜摄影实景三维数据处理集群 被引量：19

1

作者 魏金明 赵向阳 《测绘通报》 CSCD 北大核心 2021年第6期103-105,116,共4页

为提升城市级大范围、高分辨率、高精度的海量倾斜摄影航测数据的建模效率,在分析当前建模软件、设备配置、集群架构的基础上,搭建倾斜摄影实景三维数据快速处理集群。该集群以ContextCapture为倾斜摄影数据处理软件,选择最优的计算节... 为提升城市级大范围、高分辨率、高精度的海量倾斜摄影航测数据的建模效率,在分析当前建模软件、设备配置、集群架构的基础上,搭建倾斜摄影实景三维数据快速处理集群。该集群以ContextCapture为倾斜摄影数据处理软件,选择最优的计算节点设备配置,合理规划集群架构,布设万兆光纤,搭建100个计算节点的倾斜摄影实景三维数据网格处理集群;同时,研发集群监控平台,实时监控集群运行状态。通过济南市倾斜摄影实景三维数据的生产验证了集群的有效性。 展开更多

关键词 倾斜摄影 计算节点 实景三维数据 数据处理集群 实时监控

在线阅读 下载PDF 职称材料

基于状态表调度的相控阵雷达高可用处理集群 被引量：1

2

作者 袁振涛 宋锐 +1 位作者 胡卫东 郁文贤 《计算机工程与应用》 CSCD 北大核心 2006年第9期183-185,共3页

相控阵雷达具有高速大容量的目标信息采集能力,要求计算机必须具备高性能的数据处理能力。论文从相控阵雷达数据处理系统的高可用性角度出发,考虑故障监测、系统重构的因素,提出了一种基于状态表调度的计算机集群负载平衡算法,实现了数... 相控阵雷达具有高速大容量的目标信息采集能力,要求计算机必须具备高性能的数据处理能力。论文从相控阵雷达数据处理系统的高可用性角度出发,考虑故障监测、系统重构的因素,提出了一种基于状态表调度的计算机集群负载平衡算法,实现了数据的高可用、高性能处理。 展开更多

关键词 动态负栽平衡 高可用 状态表调度 数据处理集群

在线阅读 下载PDF 职称材料

大规模集群硬盘故障预测可迁移性研究

3

作者 胡思源 徐尔茨 +2 位作者 李东升 刘锋 张一鸣 《小型微型计算机系统》 CSCD 北大核心 2024年第2期505-512,共8页

硬盘驱动器(HDD)仍然是大型数据中心与超算中心主要和重要的存储部件,而存储集群规模地持续扩大对硬盘故障预测的研究不断提出挑战.当前,前人已使用统计学、机器学习和深度学习等不同类型的故障预测方法用于大规模存储集群的硬盘故障预... 硬盘驱动器(HDD)仍然是大型数据中心与超算中心主要和重要的存储部件,而存储集群规模地持续扩大对硬盘故障预测的研究不断提出挑战.当前,前人已使用统计学、机器学习和深度学习等不同类型的故障预测方法用于大规模存储集群的硬盘故障预测,并取得不俗的研究结果.但是,对于故障模型的迁移性与数据集差异的相关研究还较少.我们收集了多种类型的HDD数据集与基于不同策略的模型,对其进行交叉实验验证,在模型迁移性、数据集预处理和模型参数方面获得了相关实验结果,例如:数据集在回溯时间与平衡度上的设置显著影响一定程度的预测模型性能,而模型参数设置则并不敏感;模型在不同数据集之间的可迁移性强弱不定,而数据集特征类型和数量的选择更影响预测模型性能. 展开更多

关键词 硬盘故障 故障预测 机器学习与深度学习 迁移性 数据集处理

在线阅读 下载PDF 职称材料

数据挖掘在运动自行车量身定做中的应用

4

作者 王建华 赵静楠 +1 位作者 张聪敏 刘海云 《北京工业大学学报》 EI CAS CSCD 北大核心 2010年第6期742-747,共6页

基于自组织数据挖掘的基本原理,根据运动自行车车架设计的背景知识,选取影响车架尺寸的骑行者的身体特征,并选择相关的数据作为学习样本,在Knowledgeminer中建模,得到车架尺寸和身体特征之间的定量关系,实现了运动自行车车架量身定做的... 基于自组织数据挖掘的基本原理,根据运动自行车车架设计的背景知识,选取影响车架尺寸的骑行者的身体特征,并选择相关的数据作为学习样本,在Knowledgeminer中建模,得到车架尺寸和身体特征之间的定量关系,实现了运动自行车车架量身定做的功能. 展开更多

关键词 运动自行车 车架设计 人体尺寸 量身定做 自组织数据挖掘 集群数据处理方法(GMDH)

在线阅读 下载PDF 职称材料

基于MapReduce的层叠分组并行SVM算法研究 被引量：10

5

作者 张鹏翔 刘利民 马志强 《计算机应用与软件》 CSCD 2015年第3期172-176,共5页

随着训练集规模的不断增大,支持向量机学习成为了密集型计算的过程。针对计算过程中存在占用内存大、寻优速度慢等问题,通过大量实验对分组训练和层叠训练两种并行SVM算法进行性能分析,给出层叠分组SVM并行算法,并利用MapReduce并行框... 随着训练集规模的不断增大,支持向量机学习成为了密集型计算的过程。针对计算过程中存在占用内存大、寻优速度慢等问题,通过大量实验对分组训练和层叠训练两种并行SVM算法进行性能分析,给出层叠分组SVM并行算法,并利用MapReduce并行框架实现,解决了层叠训练模型效率低的问题。实验结果表明,采用这种学习策略,在保持精度损失较小的情况下,一定程度上减少了训练时间,提高了分类速度。 展开更多

关键词 并行分类算法 支持向量机 MAPREDUCE 大规模数据集处理

在线阅读 下载PDF 职称材料

并行SVM算法在Flink平台的应用研究 被引量：4

6

作者 白玉辛 刘晓燕 《小型微型计算机系统》 CSCD 北大核心 2021年第5期1003-1007,共5页

在大数据时代背景下,数据规模成指数级增长,传统支持向量机(SVM)已无法适应大数据环境,所以需要将传统支持向量机算法改进使其可以应用于大数据计算框架.针对计算过程中存在占用内存大、寻优速度慢等问题,提出一种基于Flink平台的并行... 在大数据时代背景下,数据规模成指数级增长,传统支持向量机(SVM)已无法适应大数据环境,所以需要将传统支持向量机算法改进使其可以应用于大数据计算框架.针对计算过程中存在占用内存大、寻优速度慢等问题,提出一种基于Flink平台的并行支持向量机算法.该方法首先基于层叠支持向量机(Cascade SVM)的合并策略以及训练结构,通过Flink分布式计算框架实现;其次,通过优化并行操作算子的性能引入分布式广播变量,优化算法,有效解决单机SVM算法训练效率低的问题.实验结果表明,结合Flink框架实现SVM算法并行化,能有效的减少了训练时间,提高模型的训练效率. 展开更多

关键词 并行计算 支持向量机 大规模数据集处理 Flink

在线阅读 下载PDF 职称材料

静态软件缺陷预测方法研究 被引量：126

7

作者 陈翔 顾庆 +2 位作者 刘望舒 刘树龙 倪超 《软件学报》 EI CSCD 北大核心 2016年第1期1-25,共25页

静态软件缺陷预测是软件工程数据挖掘领域中的一个研究热点.通过分析软件代码或开发过程,设计出与软件缺陷相关的度量元;随后,通过挖掘软件历史仓库来创建缺陷预测数据集,旨在构建出缺陷预测模型,以预测出被测项目内的潜在缺陷程序模块... 静态软件缺陷预测是软件工程数据挖掘领域中的一个研究热点.通过分析软件代码或开发过程,设计出与软件缺陷相关的度量元;随后,通过挖掘软件历史仓库来创建缺陷预测数据集,旨在构建出缺陷预测模型,以预测出被测项目内的潜在缺陷程序模块,最终达到优化测试资源分配和提高软件产品质量的目的.对近些年来国内外学者在该研究领域取得的成果进行了系统的总结.首先,给出了研究框架并识别出了影响缺陷预测性能的3个重要影响因素:度量元的设定、缺陷预测模型的构建方法和缺陷预测数据集的相关问题;接着,依次总结了这3个影响因素的已有研究成果;随后,总结了一类特殊的软件缺陷预测问题(即,基于代码修改的缺陷预测)的已有研究工作;最后,对未来研究可能面临的挑战进行了展望. 展开更多

关键词 软件质量保障 软件缺陷预测 软件度量元 机器学习 数据集预处理

在线阅读 下载PDF 职称材料

城市轨道交通站点一体化接驳设施规模测算方法研究 被引量：3

8

作者 肖慎 凌小静 吴迪 《城市轨道交通研究》 北大核心 2022年第4期82-86,共5页

城市轨道交通站点接驳设施规划建设对于提高城市轨道交通与其他交通方式的接驳效率、扩大站点吸引客流范围等起着非常重要的作用,而接驳设施规模测算则是轨道交通站点与地面交通一体化接驳设施空间布局和规模控制的重要依据。基于相关... 城市轨道交通站点接驳设施规划建设对于提高城市轨道交通与其他交通方式的接驳效率、扩大站点吸引客流范围等起着非常重要的作用,而接驳设施规模测算则是轨道交通站点与地面交通一体化接驳设施空间布局和规模控制的重要依据。基于相关研究成果和具体工程项目实践,对客流数据鉴别与数据集处理方法、接驳客流分担率预测、规模测算公式及参数标定等方面优化改进,提出城市轨道交通站点一体化接驳设施理论规模测算方法,并提出接驳设施理论规模测算结果处理方法。 展开更多

关键词 城市轨道交通站点 一体化接驳 测算公式 数据集处理 参数标定

在线阅读 下载PDF 职称材料

无人机倾斜摄影在森林景区实景三维模型构建及分析 被引量：10

9

作者 杨帆 《林业资源管理》 北大核心 2018年第4期120-124,共5页

无人机倾斜摄影测量技术作为新技术在实景三维建模领域得到了广泛的应用。分析了倾斜摄影测量技术的基本原理、系统组成,给出了基于无人机倾斜设计技术的实景三维模型的技术流程与方案。选取河南焦作云台山红石峡森林景区为试验区,按照... 无人机倾斜摄影测量技术作为新技术在实景三维建模领域得到了广泛的应用。分析了倾斜摄影测量技术的基本原理、系统组成,给出了基于无人机倾斜设计技术的实景三维模型的技术流程与方案。选取河南焦作云台山红石峡森林景区为试验区,按照相关技术流程与方案制作了该地区的实景三维模型,模型真实表达了旅游景区的实际自然风貌、人文等特征,通过浏览模型便可以达到身临其境的感觉,该实景三维模型数据可作为旅游景区规划、景区各种自然现象仿真、开发智慧管理系统等的基础数据与依据,具有巨大的市场价值与应用前景。 展开更多

关键词 无人机 倾斜摄影 实景三维模型 数据处理集群 智慧管理

在线阅读 下载PDF 职称材料

多输入卷积神经网络肺结节检测方法研究 被引量：15

10

作者 赵鹏飞 赵涓涓 +2 位作者 强彦 王峰智 赵文婷 《计算机科学》 CSCD 北大核心 2018年第1期162-166,共5页

针对传统计算机辅助诊断系统中肺部结节检出过程复杂,检出结果依赖于分类前期每个步骤的性能,以及存在假阳性率高的问题,提出了一种基于卷积神经网络的端到端的肺结节检测方法。该方法首先使用大量带标签的肺结节数据对构建的多输入卷... 针对传统计算机辅助诊断系统中肺部结节检出过程复杂,检出结果依赖于分类前期每个步骤的性能,以及存在假阳性率高的问题,提出了一种基于卷积神经网络的端到端的肺结节检测方法。该方法首先使用大量带标签的肺结节数据对构建的多输入卷积神经网络进行训练,实现从原始数据到语义标签的有监督学习。然后采用快速边缘检测方法和二维高斯概率密度函数构建候选区域模板,从待检测CT序列中获取候选区域并将其作为多输入卷积神经网络的输入数据。最后采用判定阈值实现疑似肺结节区域标注,同时在相邻的CT影像中进行重点检测。在LIDC-IDRI数据集上的大量实验结果表明,所提方法在肺部CT影像中对微、小结节的检出率较高;同时,重点检测模板能够小幅降低微、小结节检测的假阳率。 展开更多

关键词 计算机辅助诊断 卷积神经网络 微小结节检测 LIDC-IDRI数据集预处理

在线阅读 下载PDF 职称材料

基于端到端句子级别的中文唇语识别研究 被引量：6

11

作者 张晓冰 龚海刚 +1 位作者 杨帆 戴锡笠 《软件学报》 EI CSCD 北大核心 2020年第6期1747-1760,共14页

近年来,随着深度学习的广泛应用,唇语识别技术也取得了快速的发展.与传统的方法不同,在基于深度学习的唇语识别模型中,通常包含使用神经网络对图像进行特征提取和特征理解两个部分.根据中文唇语识别的特点,将识别过程划分为两个阶段—... 近年来,随着深度学习的广泛应用,唇语识别技术也取得了快速的发展.与传统的方法不同,在基于深度学习的唇语识别模型中,通常包含使用神经网络对图像进行特征提取和特征理解两个部分.根据中文唇语识别的特点,将识别过程划分为两个阶段——图片到拼音(P2P)以及拼音到汉字(P2CC)的识别.分别设计两个不同子网络针对不同的识别过程,当两个子网络训练好后,再把它们放在一起进行端到端的整体架构优化.由于目前没有可用的中文唇语数据集,因此采用半自动化的方法从CCTV官网上收集了6个月20.95GB的中文唇语数据集CCTVDS,共包含14975个样本.此外,额外采集了269558条拼音汉字样本数据对拼音到汉字识别模块进行预训练.在CCTVDS数据集上的实验结果表明,所提出的ChLipNet可分别达到45.7%的句子识别准确率和58.5%的拼音序列识别准确率.此外,ChLipNet不仅可以加速训练、减少过拟合,并且能够克服汉语识别中的歧义模糊性. 展开更多

关键词 中文唇语识别 深度学习 中文汉语言的特征 数据集采集及处理 端到端模型

在线阅读 下载PDF 职称材料

基于强化学习的特征提取方法在攻击识别中的应用 被引量：1

12

作者 李晓明 王文晖 +4 位作者 任琳琳 晏涌 陈兆玉 沙芸 刘学君 《信息安全研究》 2021年第4期351-357,共7页

针对工控数据集特征数量较大时的分类准确率较低和训练时间较长等问题,提出了一种采用强化学习来进行特征提取对数据集进行预处理的方法.首先,通过强化学习确定过程矩阵和决策矩阵,再根据决策矩阵进行特征提取,获得预处理数据集.将NSL-... 针对工控数据集特征数量较大时的分类准确率较低和训练时间较长等问题,提出了一种采用强化学习来进行特征提取对数据集进行预处理的方法.首先,通过强化学习确定过程矩阵和决策矩阵,再根据决策矩阵进行特征提取,获得预处理数据集.将NSL-KDD、自建数据集和密西西比数据集的原始数据集、PCA和强化学习后的数据集分别用神经网络和SVM训练并进行分类,实验结果表明,该方法适用特征关联度较低的数据集进行神经网络训练.强化学习能有效提高分类的准确率、精确率等指标,并减少运行时间,提高效率. 展开更多

关键词 工控数据集 强化学习 特征提取 数据集预处理 神经网络 支持向量机

在线阅读 下载PDF 职称材料