题名 高性能大气校正算法中遥感数据切分策略研究
被引量：4
1
作者
白连红 徐澍 司一丹 李莘莘
机构
中国科学院遥感与数字地球研究所遥感科学国家重点实验室 信阳职业技术学院数学与计算机学院
出处
《计算机工程与科学》
CSCD
北大核心
2016年第5期857-862,共6页
基金
国家自然科学基金(41471367 41571417)
文摘
高分辨率卫星遥感数据在地物识别等方面具有明显优势,然而其定量化应用中需要精确的大气校正,该过程通常相当耗时。分别研究了大气校正算法串行处理方法及基于通用计算机集群系统的并行处理过程。通过对2012年7月我国华北地区的环境卫星CCD数据进行大气校正,并分析了串、并行过程各个步骤运行时间,表明了对大气校正并行处理的高可行性。针对并行过程中负载不均衡和通讯频繁等问题,设计了基于卫星像元特征的数据切分策略,并对不同并行算法进行了性能分析,表明了本文反演结果的可靠性,以及提出的切分策略能达到更高的加速比。
关键词
遥感 大气校正 气溶胶光学厚度 数据切分 负载均衡
Keywords
remote sensing atmospheric correction aerosol optical depth data division balanced loads
分类号
P208
[天文地球—地图制图学与地理信息工程]
题名 基于HBase的交通流数据实时存储系统
被引量：26
2
作者
陆婷 房俊 乔彦克
机构
北方工业大学云计算研究中心
出处
《计算机应用》
CSCD
北大核心
2015年第1期103-107,135,共6页
基金
北京市自然科学基金重点项目(4131001) 北京市属高等学校创新团队建设与教师职业发展规划项目(IDHT20130502) +1 种基金 北大方正集团有限公司数字出版技术国家重点实验室开放课题 北方工业大学科研启动基金资助项目
文摘
交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题。针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统。该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中。实验结果表明：该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能。
关键词
流数据 多源缓冲区 数据切分 一致性哈希算法 实时存储 HBASE
Keywords
streaming data multi-source buffer data sharding consistent Hash algorithm real-time storage HBase
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 一种基于云的SaaS分布式多租户数据库研究
被引量：2
3
作者
胡遵华 范冰冰 胡遵程
机构
华南师范大学计算机学院 攀枝花学院经济与管理学院
出处
《计算机应用与软件》
CSCD
2015年第9期59-61,71,共4页
基金
广州市荔湾区产学研合作项目(20134815027)
文摘
给出一种基于云平台的Saa S分布式多租户数据库架构,探索了Saa S多租户应用面临的租户自定义数据访问控制和租户海量数据存储两大挑战的解决方法。使用云平台虚拟机作为局部存储节点,借助数据切分和读写分离,实现了可用性和扩展性强的租户海量数据的存储。采用灵活的键值对模型存储租户自定义数据,提出了基于元数据的租户自定义数据访问控制方法,并设计了访问控制算法。将典型应用TPC-W转换为多租户模式并进行原型实验分析,结果表明该架构是有效和可行的。
关键词
多租户数据 库 自定义数据 管理 数据切分 读写分离
Keywords
Multi-tenant database User-defined management Data segmentation Read/write splitting
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
题名 基于快速密度聚类的载客热点可视化分析方法
被引量：10
4
作者
黄子赫 高尚兵 潘志庚 惠浩 廖麒羽 赵锋锋
机构
淮阴工学院计算机与软件工程学院 杭州师范大学数字媒体与人机交互研究中心
出处
《系统仿真学报》
CAS
CSCD
北大核心
2019年第7期1429-1438,共10页
基金
国家重点研发计划(2018YFB1004904) 江苏省六大人才高峰资助项目(XYDXXJS-011) 江苏省333工程资助项目(BRA2016454)
文摘
随着城市化交通的发展,感知计算在智慧城市起着重要的作用。针对传统密度聚类算法无法适配海量出租车GPS轨迹数据及可视化的问题,提出了BCS-DBSCAN(Big-Data Cluster Center Statistics Density-Based Spatial Clustering of Applications with Noise)聚类算法。该算法可以对轨迹数据切分及并行化聚类且能够提取最大密度簇心,并将结果适配可视化模型。实验结果表明,与其它流行的方法相比,在海量数据下提取城市载客热点区域的聚类速度、精确化及可视化方面具有十分显著的优势,对进一步提升城市规划、提高交通效率提供了重要的决策信息。
关键词
大数据切分 簇心提取 快速聚类 热点可视化
Keywords
big data segmentation cluster heart extraction rapid clustering hotspot visualization
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
题名 复杂山地428XL多仪器协同接收采集技术
被引量：2
5
作者
刘飞 李兆 陈兴炳 何向东 周博宇 刘亚龙
机构
中国石油浙江油田公司 中国石油集团东方地球物理勘探有限责任公司
出处
《天然气工业》
EI
CAS
CSCD
北大核心
2021年第S01期100-104,共5页
基金
国家科技重大专项“昭通页岩气勘探开发示范工程”(编号:2017ZX05063) 中国石油天然气集团有限公司重大现场试验项目“深层页岩气有效开采关键技术攻关与试验”(编号:2019F-31)
文摘
目前的地震采集仪器(常用的428XL等仪器)已无法满足野外大道数采集接收的要求,尤其是在我国西南山地地区,接收道数过多容易造成仪器通讯、传输缓慢等一系列问题,导致施工效率低下。为了提高野外生产效率、减小劳动强度、节约生产成本,提出了一种428XL多仪器协同接收的特殊应用模式(正常采集模式和微地震采集模式),并在西南山地某项目进行了应用。应用结果表明:(1)较之于传统的主从仪器联机模式,该特殊的428XL多仪器协同接收方式的生产日效得到了很大的提高,取得了较好的应用效果;(2)该协同接收模式主要适用于当前热门的三维井地联采项目、三维地面地震和微地震压裂监测的联合采集项目,同时也可以在其他类似的复杂地区推广应用。最后提出建议:多仪器协同接收时,由于微地震采集模式需要连续工作,对排列的稳定性和可靠性要求较高,要求其相应的仪器所带道数不能太多、排列范围较小,以5000道之内为宜;同时微地震采集所用的采集设备要经过严格的挑选和测试,采用工作性能最优异的设备为宜,以保证采集设备的连续工作。
关键词
428XL多仪器 协同接收 常规模式 微地震采集 数据切分 数据 合并观测系统 覆盖次数
Keywords
428XL multi-instrument Cooperative receiving Conventional mode Micro-seismic acquisition Data segmentation Data merging Observation system Coverage times
分类号
P631.4
[天文地球—地质矿产勘探]
题名 基于改进HC算法的WiFi室内楼层识别方法
被引量：2
6
作者
毛万葵 吴飞 张玉金 章裕润
机构
上海工程技术大学电子电气工程学院
出处
《传感器与微系统》
CSCD
2019年第9期43-46,共4页
基金
国家自然科学基金资助项目(61272097) 上海市科技委员会重点项目(18511101600) +3 种基金 上海市科技学术委员会资助项目(13510501400) 上海市自然科学基金资助项目(17ZR1411900) 上海市信息安全综合管理技术研究重点实验室项目(AGK2015006) 上海高校青年教师培养计划资助项目(ZZGCD 15090)
文摘
为了解决室内楼层识别中,依靠WiFi电磁指纹定位方法对楼层进行判别时存在误差大、效率低的问题,提出了一种基于改进的层次聚类(HC)算法的室内楼层判别方法。通过密度分层的思想,对基本层次聚类算法进行改进,解决了普通层次聚类对孤立点敏感的问题,提高了室内WiFi指纹数据聚类的准确性,并结合切分数据的算法,将离线阶段的指纹数据进行切分,使得较大的数据集变成若干小数据集的聚类,降低了指纹定位数据的计算复杂度。仿真实验结果表明:本文提出的室内楼层判别方法,能够有效地提高楼层定位精度和识别率,该方法与经典K-means、CURE、ROCK聚类算法相比,在楼层判别上具有更好的定位效果。
关键词
WiFi定位 楼层定位 层次聚类(HC) 密度分层 切分 数据
Keywords
WiFi localization floor localization hierarchical clustering(HC) density stratification segmentation data
分类号
TN92
[电子电信—通信与信息系统]
