期刊文献+
共找到119篇文章
< 1 2 6 >
每页显示 20 50 100
超大规模数据处理中并行计算技术的应用研究 被引量:3
1
作者 杨多海 《科技创新与应用》 2024年第17期181-184,共4页
随着人工智能和大数据时代的到来,超大规模数据处理成了一个重要的研究领域。该文主要探讨并行计算技术在超大规模数据处理中的应用,首先详细阐述并行计算和超大规模数据处理的基本理论与概念,特别是并行计算的编程模型与工具,最后通过... 随着人工智能和大数据时代的到来,超大规模数据处理成了一个重要的研究领域。该文主要探讨并行计算技术在超大规模数据处理中的应用,首先详细阐述并行计算和超大规模数据处理的基本理论与概念,特别是并行计算的编程模型与工具,最后通过分析并行计算在搜索引擎、气象预报和金融分析等中的实际案例,阐述并行计算技术在超大规模数据处理中的实际应用。 展开更多
关键词 并行计算技术 大规模数据处理 编程模型与工具 实际案例 具体应用
在线阅读 下载PDF
基于云计算的大规模数据处理算法优化分析 被引量:1
2
作者 沈毅 《集成电路应用》 2024年第6期116-117,共2页
阐述提升数据算法运行速度的策略,介绍基于云计算技术的大规模数据处理算法,包括数据处理算法分类、大规模数据处理算法特点。针对云计算环境下数据处理挑战,提出算法优化方案。
关键词 云计算 大规模数据处理 算法优化 数据处理效率
在线阅读 下载PDF
数据挖掘算法在大规模数据集上的高性能计算实现与效果评估
3
作者 曾小莉 陈凤 《数字技术与应用》 2024年第9期192-194,共3页
本文以“数据挖掘算法在大规模数据集上的高性能计算实现与效果评估”为主题,针对当今大规模数据集背景下,数据挖掘算法在计算性能方面面临的挑战,提出了一种高效的计算实现方法,并对其在实际应用中的效果进行了评估。文章从算法层面入... 本文以“数据挖掘算法在大规模数据集上的高性能计算实现与效果评估”为主题,针对当今大规模数据集背景下,数据挖掘算法在计算性能方面面临的挑战,提出了一种高效的计算实现方法,并对其在实际应用中的效果进行了评估。文章从算法层面入手,通过优化算法结构和设计,提升了算法在大规模数据集上的计算效率,同时基于高性能计算平台,对优化后的算法进行了实际部署,确保了其在大规模数据集上能够快速、稳定地运行。通过对多个真实场景的数据集进行实验验证,充分评估了所提方法在不同应用场景下的性能表现,验证了其在大规模数据集上具有显著的计算效果。 展开更多
关键词 大规模数据 高性能计算 数据挖掘算法 真实场景 计算性能 效果评估 计算效果 优化算法
在线阅读 下载PDF
云计算模型在铁路大规模数据处理中的应用 被引量:23
4
作者 刘真 刘峰 +2 位作者 张宝鹏 马飞 高石玉 《北京交通大学学报》 CAS CSCD 北大核心 2010年第5期14-19,共6页
对铁路行业的计算资源、数据处理进行了特征分析.探讨了云计算模型中的虚拟化技术在铁路计算资源整合及MapReduce编程模型在大规模数据处理中的应用模式.采用Hadoop开源平台和Intel的虚拟化管理平台Tashi,提出和实现了基于云计算技术的... 对铁路行业的计算资源、数据处理进行了特征分析.探讨了云计算模型中的虚拟化技术在铁路计算资源整合及MapReduce编程模型在大规模数据处理中的应用模式.采用Hadoop开源平台和Intel的虚拟化管理平台Tashi,提出和实现了基于云计算技术的铁路数据处理框架模型,并通过大规模的货票数据处理实例验证了框架模型的可扩展性和高效性. 展开更多
关键词 云计算 虚拟化 MAPREDUCE 大规模数据处理
在线阅读 下载PDF
大规模三维地震数据Kirchhoff叠前深度偏移及其并行实现 被引量:11
5
作者 王华忠 刘少勇 +2 位作者 孔祥宁 蔡杰雄 方伍宝 《石油地球物理勘探》 EI CSCD 北大核心 2012年第3期404-410,355+518,共7页
本文提出了基于共炮检距数据体的适用于大规模三维地震数据体的Kirchhoff叠前深度偏移(PSDM)并行实现方案。其基本思路为:①利用任意介质中的动态规划法三维旅行时计算方法提供旅行时场;②按照炮检距组织数据;③根据机器物理内存大小分... 本文提出了基于共炮检距数据体的适用于大规模三维地震数据体的Kirchhoff叠前深度偏移(PSDM)并行实现方案。其基本思路为:①利用任意介质中的动态规划法三维旅行时计算方法提供旅行时场;②按照炮检距组织数据;③根据机器物理内存大小分配成像深度段;④对共炮检距数据分深度段进行基于消息传递接口(MPI)的进程并行处理;⑤对单进程作业进一步利用OpenMp并行同时实现多个单道的成像处理。此方案可充分利用节点内存,减少数据输入/输出(I/O)量。该方案是将单个炮检距的某个深度段的成像空间和需要的所有炮的对应深度段的旅行时场调入内存中,每一深度层的成像均在内存中进行,而且Inline和Crossline方向的偏移孔径可以自适应地根据偏移速度和成像深度进行选择,并采用空变反假频技术,可较大地提高成像精度。成像结果按体偏移形式输出,同时也可以输出成像道集。该方案在内存利用、数据I/O量和计算效率上达到最佳平衡。并行方式充分采用MPI+OpenMp混合编程模式,可高效、高精度地处理大规模三维地震数据。理论和实际数据的偏移成像结果均证明了本文方案的正确性和高效性。 展开更多
关键词 大规模地震数据 Kirchhoff叠前深度偏移 三维旅行时计算 并行策略
在线阅读 下载PDF
一种有效的大规模数据的分类方法 被引量:8
6
作者 张艳宁 赵荣椿 梁怡 《电子学报》 EI CAS CSCD 北大核心 2002年第10期1533-1535,共3页
本文提出了一种基于自组织特征映射神经网络 (SOM)和支撑矢量机 (SVM)相结合的复杂模式的大规模数据的分类方法 .该方法首先利用自组织特征映射神经网络对待识目标进行聚类 ,然后应用支撑矢量机方法对其进行分类识别 .通过对复杂异或 (X... 本文提出了一种基于自组织特征映射神经网络 (SOM)和支撑矢量机 (SVM)相结合的复杂模式的大规模数据的分类方法 .该方法首先利用自组织特征映射神经网络对待识目标进行聚类 ,然后应用支撑矢量机方法对其进行分类识别 .通过对复杂异或 (XOR)分类问题 ,以及实际的Iris和Appendicitis数据分类问题等的分类实验 ,且与仅用支撑矢量机的分类方法比较 ,结果表明 ,本文提出的方法对复杂模式的大规模数据的分类识别问题具有较好的效果 ,且训练时间大幅度减小 . 展开更多
关键词 自组织特征映射神经网络 支撑矢量机 大规模数据 模式分类 SOM SVM
在线阅读 下载PDF
云计算环境下的大规模图状数据处理任务调度算法 被引量:16
7
作者 李健 黄庆佳 +1 位作者 刘一阳 苏森 《西安交通大学学报》 EI CAS CSCD 北大核心 2012年第12期116-122,共7页
针对云计算环境下调度算法必须考虑资源租赁成本的问题,提出一种新的基于粒子群优化的大规模图状数据处理任务调度算法(LGPPSO).首先,该算法将图状数据处理任务调度方案编码为粒子群中粒子的位置,并利用任务的调度长度和资源租赁成本建... 针对云计算环境下调度算法必须考虑资源租赁成本的问题,提出一种新的基于粒子群优化的大规模图状数据处理任务调度算法(LGPPSO).首先,该算法将图状数据处理任务调度方案编码为粒子群中粒子的位置,并利用任务的调度长度和资源租赁成本建立适应度函数来评价当前粒子的优劣程度,然后重新定义粒子群的参数和相关操作,最后在算法的每一次迭代过程中,粒子不断更新自身的速度和位置,以获得任务调度的近似最优解.模拟实验结果表明:在仅以调度长度为目标时,LGPPSO算法的调度长度比异构最早完成时间任务调度算法(HEFT)平均降低约12.3%;在以调度长度和资源租赁成本为目标时,与成本感知任务调度算法(CCSH)相比,在资源租赁成本基本一致的情况下,LGPPSO算法的调度长度平均降低约9.97%. 展开更多
关键词 大规模图状数据处理 调度算法 粒子群优化 云计算
在线阅读 下载PDF
基于大规模数据的支撑矢量机的训练和分类 被引量:7
8
作者 汪西莉 刘芳 焦李成 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2002年第1期123-127,共5页
支撑矢量机是一种基于统计学习理论的、新颖且有强的泛化性能的学习方法 ,可看作是一种训练多项式神经网络或径向基函数分类器的新方法 .支撑矢量机可用于模式识别、回归估计、求解线性算子方程等 .介绍了支撑矢量机的分类机理 ,并针对... 支撑矢量机是一种基于统计学习理论的、新颖且有强的泛化性能的学习方法 ,可看作是一种训练多项式神经网络或径向基函数分类器的新方法 .支撑矢量机可用于模式识别、回归估计、求解线性算子方程等 .介绍了支撑矢量机的分类机理 ,并针对大规模数据讨论其训练和分类中存在的问题及典型的解决方法 . 展开更多
关键词 支撑矢量机 大规模数据 训练算法 分类速度
在线阅读 下载PDF
面向大规模噪声数据的软性核凸包支持向量机 被引量:6
9
作者 顾晓清 倪彤光 +1 位作者 姜志彬 王士同 《电子学报》 EI CAS CSCD 北大核心 2018年第2期347-357,共11页
现有的面向大规模数据分类的支持向量机(support vector machine,SVM)对噪声样本敏感,针对这一问题,通过定义软性核凸包和引入pinball损失函数,提出了一种新的软性核凸包支持向量机(soft kernel convex hull support vector machine for... 现有的面向大规模数据分类的支持向量机(support vector machine,SVM)对噪声样本敏感,针对这一问题,通过定义软性核凸包和引入pinball损失函数,提出了一种新的软性核凸包支持向量机(soft kernel convex hull support vector machine for large scale noisy datasets,SCH-SVM).SCH-SVM首先定义了软性核凸包的概念,然后选择出能代表样本在核空间几何轮廓的软性核凸包向量,再将其对应的原始空间样本作为训练样本并基于pinball损失函数来寻找两类软性核凸包之间的最大分位数距离.相关理论和实验结果亦证明了所提分类器在训练时间,抗噪能力和支持向量数上的有效性. 展开更多
关键词 大规模数据 噪声 软性核凸包 pinball损失函数 分类
在线阅读 下载PDF
面向大规模类不平衡数据的变分高斯过程分类算法 被引量:6
10
作者 马彪 周瑜 贺建军 《大连理工大学学报》 EI CAS CSCD 北大核心 2016年第3期279-284,共6页
变分高斯过程分类器是最近提出的一种较有效的面向大规模数据的快速核分类算法,其在处理类不平衡问题时,对少数类样本的预测精度通常会较低.针对此问题,通过在似然函数中引入指数权重系数和构造包含相同数目正负类样本的诱导子集解决原... 变分高斯过程分类器是最近提出的一种较有效的面向大规模数据的快速核分类算法,其在处理类不平衡问题时,对少数类样本的预测精度通常会较低.针对此问题,通过在似然函数中引入指数权重系数和构造包含相同数目正负类样本的诱导子集解决原始算法的分类面向少数类偏移的问题,建立了一种可以有效处理大规模类不平衡问题的改进变分高斯过程分类算法.在10个大规模UCI数据集上的实验结果表明,改进算法在类不平衡问题上的精度较原始算法得到大幅提高. 展开更多
关键词 类不平衡问题 高斯过程 变分推理 大规模数据分类
在线阅读 下载PDF
面向大规模定制生产模式的产品数据管理 被引量:20
11
作者 刘晓冰 董建华 +2 位作者 孙伟 蒋平 韩永生 《大连理工大学学报》 CAS CSCD 北大核心 2000年第6期733-736,共4页
剖析了大规模定制生产模式的内涵 ,根据其特点提出了产品族数据管理的概念 ;产品族数据管理不同于单一产品数据管理特点在于 ,它覆盖一类产品 ,需要通过产品配置才能得到满足订单需求的产品 .在此基础上 ,建立了产品族数据管理系统框架 ... 剖析了大规模定制生产模式的内涵 ,根据其特点提出了产品族数据管理的概念 ;产品族数据管理不同于单一产品数据管理特点在于 ,它覆盖一类产品 ,需要通过产品配置才能得到满足订单需求的产品 .在此基础上 ,建立了产品族数据管理系统框架 ,通过系统实现证明了该框架的可行性 . 展开更多
关键词 产品数据管理/大规模定制 产品族
在线阅读 下载PDF
面向大规模数据的隐私保护学习机 被引量:2
12
作者 刘忠宝 王士同 《电子科技大学学报》 EI CAS CSCD 北大核心 2013年第2期272-276,共5页
随着海量数据不断涌入,SVM隐私泄露问题日益严重。在分析已有隐私保护支持向量机基础上,提出一种面向大规模数据的隐私保护学习机(PPLM)。该方法首先通过核心向量机对大规模样本进行采样,然后在核心集上选取两个样本点并将两点连线的法... 随着海量数据不断涌入,SVM隐私泄露问题日益严重。在分析已有隐私保护支持向量机基础上,提出一种面向大规模数据的隐私保护学习机(PPLM)。该方法首先通过核心向量机对大规模样本进行采样,然后在核心集上选取两个样本点并将两点连线的法平面作为最优分类面。通过对标准数据集和人工数据集的实验表明,PPLM可有效地解决大规模样本分类问题,且分类效果良好。 展开更多
关键词 大规模数据 模式分类 隐私保护 支持向量机
在线阅读 下载PDF
利用VB开发AutoCAD实现大规模数据直线自动生成功能 被引量:1
13
作者 黄乾 李玉国 谭媛媛 《中国农村水利水电》 北大核心 2006年第10期76-77,81,共3页
AutoCAD软件由于强大的工程图形处理能力而得到广泛应用,但是工程设计中,将设计计算、数据处理和图形绘制等进行综合处理,仅靠AutoCAD自身的功能难以实现。对AutoCAD进行二次开发,利用VB语言编程,将AutoCAD作为VB程序中的一个窗口,对大... AutoCAD软件由于强大的工程图形处理能力而得到广泛应用,但是工程设计中,将设计计算、数据处理和图形绘制等进行综合处理,仅靠AutoCAD自身的功能难以实现。对AutoCAD进行二次开发,利用VB语言编程,将AutoCAD作为VB程序中的一个窗口,对大批量数据的自动输入、成线、标注、图形属性修改等功能开发程序中进行集成,极大地提高了出图效率和自动化水平,并且方便数据点的修改。以江苏省某河道及水工建筑物大规模坐标数据进行了自动成线验证,程序设计目标可完全实现。 展开更多
关键词 VISUAL Basic AUTOCAD 大规模数据 自动成线
在线阅读 下载PDF
大规模数据并播中的多级群分复用技术研究 被引量:3
14
作者 周金治 吴静 马建国 《信息与电子工程》 2004年第4期266-268,共3页
针对李幼平院士提出的"第五媒体"思想,提出采用"多级群分复用技术"解决"带宽瓶颈"问题;并对大规模数据并行广播中的并播理论、多级群分复用技术、节目信息资源组织等进行了探讨。通过局域网LAN与DVB-C相... 针对李幼平院士提出的"第五媒体"思想,提出采用"多级群分复用技术"解决"带宽瓶颈"问题;并对大规模数据并行广播中的并播理论、多级群分复用技术、节目信息资源组织等进行了探讨。通过局域网LAN与DVB-C相结合的数据传输平台实验,验证了该多级群分复用技术是有效可行的。 展开更多
关键词 通信技术 多级群分复用 大规模数据并播 带宽瓶颈
在线阅读 下载PDF
多媒体云计算下的大规模数据流调度方法研究 被引量:4
15
作者 安海涛 《现代电子技术》 北大核心 2015年第20期154-157,162,共5页
传统的多媒体数据流调度方法在云平台环境下,未考虑服务器信息调度的差异性,容易形成数据调度冲突,调度效率低。为了解决上述分析的问题,通过构建多媒体云计算下数据流调度平台,实现对多路大规模多媒体数据流的合理调度,利用多级分层结... 传统的多媒体数据流调度方法在云平台环境下,未考虑服务器信息调度的差异性,容易形成数据调度冲突,调度效率低。为了解决上述分析的问题,通过构建多媒体云计算下数据流调度平台,实现对多路大规模多媒体数据流的合理调度,利用多级分层结构将多媒体云计算下的多服务器大规模数据流调度过程划分成管理层面、控制层面以及数据层面,可确保将数据包均匀的分配给各个服务器,充分发挥云计算下的多服务器可并行处理的特性,增强数据流的调度质量。对调度平台的软件框架进行了详细的描述,依据该软件框架的多层次实现大规模数据流调度优化,分析了大规模数据流调度的具体实现过程,并给出大规模数据流调度平台软件代码的设计。实验结果表明,所提方法增强了多媒体云计算下的大规模数据流调度的并发性能,提高数据流调度质量。 展开更多
关键词 多媒体 云计算 大规模数据 调度方法
在线阅读 下载PDF
超大规模地质勘探数据下的矿产资源分级 被引量:2
16
作者 刘金辉 窦金龙 《中国矿业》 北大核心 2011年第11期111-113,共3页
随着国家"走出去"的资源战略的政策鼓励下,越来越多的我国企业参与海外资源并购。在资源并购项目上,资源量与资源级别是决定投资价值的重要因素,然而国外公司对资源勘探的标准和国内相差很多,常常进行大规模的勘探,勘探过程... 随着国家"走出去"的资源战略的政策鼓励下,越来越多的我国企业参与海外资源并购。在资源并购项目上,资源量与资源级别是决定投资价值的重要因素,然而国外公司对资源勘探的标准和国内相差很多,常常进行大规模的勘探,勘探过程中一般并不遵循一定的网度,其结果是产生超大规模的地质勘探数据,并且杂乱无章,很难根据国内的资源标准进行分类。为了解决此难点,创造性的提出了应用地质统计学和三维椭球体缓冲方法,将大规模数据快速转换成相应的国内的分级资源标准,为投资提供参考依据。 展开更多
关键词 大规模地质勘探数据 地质统计学 资源分级 类JORC 椭球体缓冲区
在线阅读 下载PDF
大规模数据集高效数据挖掘算法研究 被引量:2
17
作者 王祥瑞 《信息技术与信息化》 2015年第9期256-258,共3页
近些年,随着信息技术的不断进步,人们获取数据的手段日新月异,不少企业和机构已经存储了大量的数据。基于数据的急速增长,大规模数据集高效数据挖掘技术的应用需求快速增加,本文主要以聚类算法为例,具体分析了主流的BIRCH算法在大规模... 近些年,随着信息技术的不断进步,人们获取数据的手段日新月异,不少企业和机构已经存储了大量的数据。基于数据的急速增长,大规模数据集高效数据挖掘技术的应用需求快速增加,本文主要以聚类算法为例,具体分析了主流的BIRCH算法在大规模数据集中的应用局限性及其改进,将CLUK聚类算法应用于大规模数据集高效数据挖掘,并获得了较好的效果。 展开更多
关键词 大规模数据 高效数据挖掘算法 PC-SEM算法
在线阅读 下载PDF
基于Hadoop的大规模RDF语义数据应用平台
18
作者 肖宝 李璞 +1 位作者 胡文君 韦丽娜 《钦州学院学报》 2017年第1期12-17,共6页
随着语义网技术不断发展,传统推理引擎技术对大规模RDF(Resource Description Framework)数据的高效存储和语义查询存在着计算性能差和扩展能力不足等问题。针对这些问题,引入大数据处理技术Hadoop以及No SQL存储技术,构造一个大规模RD... 随着语义网技术不断发展,传统推理引擎技术对大规模RDF(Resource Description Framework)数据的高效存储和语义查询存在着计算性能差和扩展能力不足等问题。针对这些问题,引入大数据处理技术Hadoop以及No SQL存储技术,构造一个大规模RDF语义数据应用平台,并且设计了基于SPARQL(Simple Protocol and RDF Query Language)查询技术的节点资源扩展算法。平台充分利用MapReduce技术提高了数据的存储和查询性能。实验以DBpedia的语义数据为案例,验证了平台的可行性和有效性。 展开更多
关键词 RDF HADOOP 大规模语义数据 MAPREDUCE
在线阅读 下载PDF
大规模数据处理及集群性能监控与优化 被引量:1
19
作者 王大恒 战勇杰 《中国新通信》 2016年第16期71-71,共1页
近年来,我国信息化发展步伐逐渐加快,网络用户急速上升。网络用户的增加,为更多的电子商业带来新的机遇。通过对数据的有效分析和利用,进一步促进我过经济发展。由于数据的膨胀,小型服务器显然不能完成这项工作,因此,以集群为单位的处... 近年来,我国信息化发展步伐逐渐加快,网络用户急速上升。网络用户的增加,为更多的电子商业带来新的机遇。通过对数据的有效分析和利用,进一步促进我过经济发展。由于数据的膨胀,小型服务器显然不能完成这项工作,因此,以集群为单位的处理方式被得到广泛的应有。但是,通过终端采集,数据被不间断的传入集群,速度过快时更容易造成集群超负荷工作,而不能就是对数据进行处理;而速度过慢时就会导致集群的作用不能充分的被发挥出来。因此本文对集群性能的监控和优化进行了详细的阐述,通过优化对集群进行改善。 展开更多
关键词 大规模数据出来 集群 监控 优化
在线阅读 下载PDF
大规模网络数据存储系统的设计与实现
20
作者 李荣利 《现代电子技术》 北大核心 2017年第2期118-121,124,共5页
当前的网络数据存储系统在处理大规模数据时需要较长时间,增加了网络数据存储周期,存储性能较差。因此设计并实现一种大规模网络数据存储系统,该系统主要包括A/D高速采集模块、FLASH存储模块和FPGA数据接收模块。A/D高速采集模块采集大... 当前的网络数据存储系统在处理大规模数据时需要较长时间,增加了网络数据存储周期,存储性能较差。因此设计并实现一种大规模网络数据存储系统,该系统主要包括A/D高速采集模块、FLASH存储模块和FPGA数据接收模块。A/D高速采集模块采集大规模网络数据,采用FPGA数据接收模块对采集到的网络数据进行接收和处理,过滤其中的噪声因素,再将处理好的网络数据保存在FLASH存储模块中。依据三层架构模式设计大规模网络数据存储系统软件架构,并给出了业务逻辑层完成数据传递的关键代码。实验结果表明,所设计的大规模网络数据存储系统具有较高的数据存储和读取速度,能够实现网络数据的负载均衡存储。 展开更多
关键词 A/D高速采集 FPGA 网络数据存储 大规模数据处理
在线阅读 下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部