期刊文献+
共找到16篇文章
< 1 >
每页显示 20 50 100
基于Hadoop技术的加速器大数据安全存储与高效分析系统设计 被引量:9
1
作者 赵子晨 杨锋 +3 位作者 郭玉辉 陈又新 李钊扬 刘海涛 《现代电子技术》 北大核心 2024年第8期9-17,共9页
为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬... 为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。 展开更多
关键词 数据仓库 Hadoop技术 加速器 大数据 安全存储 HBASE ETL
在线阅读 下载PDF
计及负荷转移需求响应的低碳数据中心光储容量优化配置 被引量:4
2
作者 刘祎泽 向月 《电力自动化设备》 EI CSCD 北大核心 2024年第7期149-155,共7页
为了解决高耗能数据中心低碳化转型问题,提出一种计及负荷转移需求响应的低碳数据中心光储容量配置方法。根据延时特性将数据中心负载分为交互性负载与延时性负载,通过比特-瓦特变换与数据中心电能使用效率得出负载与数据中心能耗之间... 为了解决高耗能数据中心低碳化转型问题,提出一种计及负荷转移需求响应的低碳数据中心光储容量配置方法。根据延时特性将数据中心负载分为交互性负载与延时性负载,通过比特-瓦特变换与数据中心电能使用效率得出负载与数据中心能耗之间的关系,以总净现值成本最低为目标函数,考虑清洁能源高渗透率水平、数据流需求响应管控约束,获得数据中心的光储容量配置结果。算例验证了所提方法的有效性。 展开更多
关键词 低碳数据中心 负荷转移 需求响应 比特-瓦特变换 价格机制 光储容量配置
在线阅读 下载PDF
一种新的化工过程历史数据压缩方法研究 被引量:4
3
作者 蒋鹏 黄清波 +1 位作者 王智 孙优贤 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2005年第6期814-818,共5页
为了对化工过程的历史数据进行压缩处理以减少数据的存储空间,给出了一种新的数据压缩方法.该方法基于整数小波变换和多级树集合分割,对原始数据进行5层整数小波分解,得到小波系数和相应的时间方向树,使用多级树集合分割编码对小波系数... 为了对化工过程的历史数据进行压缩处理以减少数据的存储空间,给出了一种新的数据压缩方法.该方法基于整数小波变换和多级树集合分割,对原始数据进行5层整数小波分解,得到小波系数和相应的时间方向树,使用多级树集合分割编码对小波系数进行编码,输出位平面,再利用自适应算术编码对输出的位平面进行编码,进一步提高压缩比.应用该方法对一造纸厂的温度数据进行压缩和还原,仿真结果表明,该方法无需浮点运算,编码时利用了原始信号在各尺度下小波变换系数的自相似性,具有计算复杂度低、数据压缩速度快、压缩比高和重构误差小的特点. 展开更多
关键词 数据压缩 整数小波变换 多级树集合分割
在线阅读 下载PDF
浅谈信息数据的安全与加密包装 被引量:2
4
作者 代晓红 曾莉红 《包装工程》 CAS CSCD 北大核心 2004年第3期103-104,136,共3页
从信息数据的传统包装技术分析了当前信息网络存在的安全隐患。随着信息技术的日新月异 ,信息数据加密包装技术也应跟上时代的步伐 ,为网络信息数据的安全打下坚实的基础 ,在分析原有的加密包装技术的基础上 ,说明了传统的信息数据包装... 从信息数据的传统包装技术分析了当前信息网络存在的安全隐患。随着信息技术的日新月异 ,信息数据加密包装技术也应跟上时代的步伐 ,为网络信息数据的安全打下坚实的基础 ,在分析原有的加密包装技术的基础上 ,说明了传统的信息数据包装形式在加密技术上存在的不足 ,阐述了变形换位数据存储这一新兴的数据包装技术的特点和拟解决的关键问题 ,并给出了相应的实现手段和解决问题的策略。 展开更多
关键词 信息数据安全 加密包装 变形换位数据存储 包装形式 包装技术
在线阅读 下载PDF
XML文档到关系数据库的转换研究 被引量:7
5
作者 朱珊娜 李书琴 安福定 《计算机工程与设计》 CSCD 北大核心 2008年第21期5507-5509,5571,共4页
XML作为网络数据交换的标准技术,广泛应用于计算机软件。目前存储数据的主流手段是关系数据库,因此XML文档与关系数据库之间必须进行转换。通过分析XML文档的层次结构,建立了XML文档树模型,并给出结点定义。依据XML的BNF规则给出了元素... XML作为网络数据交换的标准技术,广泛应用于计算机软件。目前存储数据的主流手段是关系数据库,因此XML文档与关系数据库之间必须进行转换。通过分析XML文档的层次结构,建立了XML文档树模型,并给出结点定义。依据XML的BNF规则给出了元素与属性的正规表达式和相对应的状态转换图,设计了识别元素和属性的词法分析程序用于解析XML文档。提出了XML文档树到关系数据库存储的转换思想和算法,并结合实例给出转换后的关系表。 展开更多
关键词 XML文档 XML数据存储 关系数据库 XML解析 模型转换
在线阅读 下载PDF
改善直接数字合成周期信号频率分辨率的两种波形序列 被引量:4
6
作者 田新广 高立志 张尔扬 《电子学报》 EI CAS CSCD 北大核心 2004年第3期388-390,共3页
在利用直接数字合成方法产生周期性宽带通信对抗背景信号时 ,信号的频率分辨率、带宽及频谱复杂度直接受限于合成系统的工作频率和存储容量 .本文提出两种波形序列 ,能够在不改变合成系统工作频率和存储容量并且不影响合成信号的幅频包... 在利用直接数字合成方法产生周期性宽带通信对抗背景信号时 ,信号的频率分辨率、带宽及频谱复杂度直接受限于合成系统的工作频率和存储容量 .本文提出两种波形序列 ,能够在不改变合成系统工作频率和存储容量并且不影响合成信号的幅频包络和基本时域特性的情况下将其频率分辨率提高四倍以上 ,并且可以提高合成信号的频谱复杂度和可变性 . 展开更多
关键词 通信对抗 直接数字合成 频率分辨率 幅频包络 周期信号 波形序列
在线阅读 下载PDF
基于分数阶Fourier变换的云存储系统重复数据删除算法 被引量:2
7
作者 徐奕奕 唐培和 《计算机科学》 CSCD 北大核心 2015年第7期174-177,209,共5页
云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删... 云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删除处理,因此提出一种改进的基于分数阶Fourier变换累积量检测的云存储系统重复数据删除算法。首先分析云存储系统重复数据删除机制体系架构,定义数据存储点的适应度函数,得到云存储节点的系统子集随机概率分布;采用经验约束函数对存储节点中的校验数据块分存,通过分数阶Fourier变换对云存储系统中的幅度调制分量进行残差信号滤波预处理。采用4阶累积量切片后置算子,把每个文件分为若干个块,针对每个文件块进行重删,进行重复数据检测后置滤波处理,实现存储资源上的重复数据检测及其删除。仿真实验表明,该算法能提高集群云存储系统计算资源的利用率,重复数据准确删除率较高,有效避免了数据信息流的干扰特征造成的误删和漏删,性能优越。 展开更多
关键词 分数阶FOURIER变换 云存储 重复数据
在线阅读 下载PDF
海量多文件存储模式的CNSDTF-DEM数据转换方法研究 被引量:1
8
作者 王小东 付宇 戴福初 《华北水利水电大学学报(自然科学版)》 2014年第2期81-84,共4页
区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来... 区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来的格式转换与数据合并的问题展开研究,分析CNSDTFDEM数据与USGS-DEM数据的存储结构,采用C#程序设计语言实现了海量CNSDTF-DEM数据向USGSDEM数据的自动批量转换,并在ArcGIS软件平台下采用VBA宏语言将USGS-DEM数据批量转换为可直接读取的img格式的数据,为区域高分辨率DEM数据的应用提供了便利. 展开更多
关键词 海量数据 多文件存储模式 CNSDTF—DEM USGS—DEM 数据转换
在线阅读 下载PDF
使用小波变换的视频信号处理系统 被引量:1
9
作者 王海晏 吕良飞 《光电工程》 EI CAS CSCD 北大核心 2001年第5期50-53,共4页
叙述了视频信号处理中的小波变换的应用。在介绍了视频采集系统基本结构和功能的基础上,首先叙述了用小波变换检测视频信号的各参数的方法,然后讨论了如何在具体设备当中实时实现小波变换,提出了用“双存储器”实现的方法。
关键词 视频信号 小波变换 信号处理 滤波器矩阵
在线阅读 下载PDF
中文报刊混编订购数据库的建立与应用——邮发报刊订购目录的计算机排序 被引量:1
10
作者 袁国发 张景云 袁立军 《河北轻化工学院学报》 1997年第4期83-84,F003,共2页
提出了中文邮发刊、非邮发刊混编订购数据库在图书馆期刊管理工作中的建立和使用问题,提供了中文报刊混编订购数据库目录变换中的邮发报刊订购目录的排序程序。
关键词 中文报刊 订购数据库 报刊订购目录 计算机排序
在线阅读 下载PDF
面向多源异构数据的牵引变压器故障诊断平台设计 被引量:11
11
作者 马玉涛 黄新波 +3 位作者 朱永灿 吴明松 王宁 刘成 《广东电力》 2020年第2期131-138,共8页
牵引变压器作为铁路牵引供电系统中的关键环节,其安全性影响着铁路供电系统稳定性和铁路运输可靠性,对其进行故障诊断尤为重要。为此,首先根据故障诊断平台的需求分析提出牵引变压器故障诊断平台设计方案;随后对多源异构数据的数据存储... 牵引变压器作为铁路牵引供电系统中的关键环节,其安全性影响着铁路供电系统稳定性和铁路运输可靠性,对其进行故障诊断尤为重要。为此,首先根据故障诊断平台的需求分析提出牵引变压器故障诊断平台设计方案;随后对多源异构数据的数据存储方法及数据预处理方法进行分析,优化存储体系和数据预处理方法,同时针对故障诊断中存在的不平衡数据问题,采用PAM-SMOTE-ELM算法对油中溶解气体不平衡数据集进行分析,并通过G-mean指标进行故障分类效果评价;最后,实际应用验证了该故障诊断平台的有效性与实用性。 展开更多
关键词 牵引变压器 数据存储 故障诊断 不平衡数据 数据预处理
在线阅读 下载PDF
关系型数据库内存化存储模型研究 被引量:20
12
作者 张俊 廖雪花 +1 位作者 余旭玲 雷蒙 《计算机工程与应用》 CSCD 北大核心 2021年第19期123-128,共6页
大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型... 大数据环境下,磁盘数据库存在高并发I/O瓶颈,磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis,以典型开源关系型数据库MySQL为例,提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案,实现MySQL的内存化存储。同时构建行式键值(RB-KVM)和分段列式键值交叉(PCB-KVCM)存储转换模型,实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比,RB-KVM数据存取效率更高,而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析,该技术不仅提高了数据库在高并发场景下的吞吐能力,实现了海量热点数据的高效存取,在实际应用中也更加快捷,实施成本更低。 展开更多
关键词 MYSQL数据库 分布式Redis集群 数据迁移 模型转换 数据内存存储技术
在线阅读 下载PDF
电力系统中直流绝缘检测方案 被引量:7
13
作者 江玉俭 潘永明 《控制工程》 CSCD 北大核心 2012年第S1期47-48,共2页
介绍一种利用不平衡桥电阻测量电力直流母线绝缘状况的方案,配合直流漏电流传感器还可以检测馈出支路绝缘状况,并给出硬件设计结构,实现的方法步骤及注意事项,并给出软件设计思路及注意事项。
关键词 单片机A/D转换 数据采集 蓄电池
在线阅读 下载PDF
针对电池储能系统假数据注入攻击的智能化检测方法研究 被引量:3
14
作者 许爽 刘智颖 +2 位作者 李元诚 王庆乐 李建彬 《中国电机工程学报》 EI CSCD 北大核心 2023年第17期6628-6638,共11页
电池储能系统(battery energy storage systems,BESSs)的假数据注入攻击(false data injection attacks,FDIAs)可以篡改传感器采集的电池测量信息,影响BESSs的荷电状态(state of charge,SOC)估计,从而威胁BESSs的安全与稳定运行。针对... 电池储能系统(battery energy storage systems,BESSs)的假数据注入攻击(false data injection attacks,FDIAs)可以篡改传感器采集的电池测量信息,影响BESSs的荷电状态(state of charge,SOC)估计,从而威胁BESSs的安全与稳定运行。针对电池储能系统SOC估计的FDIAs,搭建了电池等效电路模型,利用扩展卡尔曼滤波(extended kalman filter,EKF)算法进行SOC估计,构造了不同强度的FDIAs,并提出一种基于T2V-Transformer(Time2Vector-Transformer)的FDIAs智能化检测方法。考虑到Transformer位置编码不能提取序列数据的时间特征,所以采用Time2Vector将时间转换为嵌入向量,提取电池数据的时间顺序特征,捕获序列周期性和非周期性特征。实验结果表明,与当前主流的长短期记忆网络(long short term memory,LSTM)自动编码器、Transformer等方法相比,所提方法可以检测出不同强度的电池储能系统FDIAs,并且在用时接近的情况下,具有更高的检测准确率。 展开更多
关键词 电池储能系统 荷电状态估计 假数据注入攻击 Transformer算法 Time2Vector向量表示
在线阅读 下载PDF
基于层级设计的输变电工程数据存储架构 被引量:14
15
作者 袁兆祥 彭晶 +1 位作者 安增军 张华 《沈阳工业大学学报》 EI CAS 北大核心 2019年第6期601-605,共5页
针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算... 针对输变电工程数据来源多样、类型复杂、数据量大导致数据存储压力大的问题,提出了一种基于层级设计的输变电工程数据存储架构.将输变电工程数据划分为结构化数据和非结构化数据,使用不同的存储方式以优化配置存储资源;使用基于遗传算法的数据迁移方法实现海量数据的迁移,使用不同配置的数据存储中心进行仿真与测试.结果表明,所提出的存储架构和数据迁移方法能有效解决海量输变电工程数据存储的问题,提升输变电工程数据存储系统的性能. 展开更多
关键词 输变电工程 海量数据 结构化数据 非结构化数据 存储 数据迁移 负载 遗传算法
在线阅读 下载PDF
一种异构分布式存储再生码变换原理
16
作者 苗斌 宋苗苗 +6 位作者 李文庆 王文彦 董国法 王晓燕 张可可 徐宇柘 管万春 《现代电子技术》 北大核心 2019年第24期104-107,共4页
再生码是一类分布式存储编码,由于在节点存储和修复带宽两方面均有效而被广泛研究。基于乘积矩阵(PM)理论的最小存储再生(PM-MSR)码是一类同构分布式存储再生码,具有最小的节点存储。提出一种再生码变换原理,能够根据PM-MSR码产生新的... 再生码是一类分布式存储编码,由于在节点存储和修复带宽两方面均有效而被广泛研究。基于乘积矩阵(PM)理论的最小存储再生(PM-MSR)码是一类同构分布式存储再生码,具有最小的节点存储。提出一种再生码变换原理,能够根据PM-MSR码产生新的再生码,新的再生码用于异构分布式存储系统。严格证明了新再生码结构的数据重构和数据修复性质,并提供了编码实例。新的再生码与PM-MSR码具有相同的存储消耗和带宽消耗,但新的再生码具有更小的平均节点故障率,这对实际应用具有吸引力。 展开更多
关键词 变换原理 再生码 异构分布式存储 数据重构 节点存储 对比分析
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部