来自不同传感器网络的流数据共享和集成对于带动相关业务和行业的创新具有重要意义.现有的传感网络往往是任务导向或领域专用的,仅适用于特定的应用场景,难以有效地在不同应用间共享和重用其数据资源.传感流数据的服务化是一种有效解决...来自不同传感器网络的流数据共享和集成对于带动相关业务和行业的创新具有重要意义.现有的传感网络往往是任务导向或领域专用的,仅适用于特定的应用场景,难以有效地在不同应用间共享和重用其数据资源.传感流数据的服务化是一种有效解决物理传感网络数据资源共享和重用的方法.针对已有服务化方法在应对大规模传感流数据共享和用户并发访问方面存在的局限性,该文提出了一种面向传感流数据的服务化封装方法——SDaaS(Stream Data as a Service),该方法使用事件的方式驱动传感流数据的处理和传输,通过对传感数据的融合操作实现服务对传感流数据的深层次加工,并基于Pub/Sub机制实现传感流数据的按需分发.文中基于Spark Streaming实现对大规模流数据加工操作的封装,并通过对传统的基于匹配树的事件匹配算法进行改进实现了高效的流数据内容分发,以保障将传感数据实时的分发给相应需求.该文通过实验验证了流数据服务的性能,印证了流数据服务能够响应不同的数据需求,在毫秒级别将数据流分发给不同应用.展开更多
物联网数据是当前一类典型的大数据,其应用正成为诸多行业领域的热点,围绕物联网数据的应用往往可以被表7K为由一组大数据处理与分析任务构成的工作流.与传统工作流不同的是,IoT(Internet of Things)环境下这种数据驱动的工作流具有数...物联网数据是当前一类典型的大数据,其应用正成为诸多行业领域的热点,围绕物联网数据的应用往往可以被表7K为由一组大数据处理与分析任务构成的工作流.与传统工作流不同的是,IoT(Internet of Things)环境下这种数据驱动的工作流具有数据来源分散、数据规模大、云边协同分布执行等特点,给IoT数据工作流的执行带来了数据流控制管理、数据传输调度等方面的诸多挑战.针对IoT数据工作流的执行约束和数据传输优化问题.提出一种面向IoT数据工作流的分割与调度优化方法.首先对IoT数据工作流的执行约束条件、边缘节点负载以及数据传输量进行建模,进而以数据传输和执行时间优化为目标设计一种云边架构下IoT数据工作流的分割算法和子工作流执行调度算法.通过基于WorkflowSim的仿真实验结果表明,提出的算法与典型的HEFT和MINMIN算法相比,可以在保障边缘节点执行约束和负载均衡的条件下有效降低IoT数据工作流的执行时间.展开更多
文摘来自不同传感器网络的流数据共享和集成对于带动相关业务和行业的创新具有重要意义.现有的传感网络往往是任务导向或领域专用的,仅适用于特定的应用场景,难以有效地在不同应用间共享和重用其数据资源.传感流数据的服务化是一种有效解决物理传感网络数据资源共享和重用的方法.针对已有服务化方法在应对大规模传感流数据共享和用户并发访问方面存在的局限性,该文提出了一种面向传感流数据的服务化封装方法——SDaaS(Stream Data as a Service),该方法使用事件的方式驱动传感流数据的处理和传输,通过对传感数据的融合操作实现服务对传感流数据的深层次加工,并基于Pub/Sub机制实现传感流数据的按需分发.文中基于Spark Streaming实现对大规模流数据加工操作的封装,并通过对传统的基于匹配树的事件匹配算法进行改进实现了高效的流数据内容分发,以保障将传感数据实时的分发给相应需求.该文通过实验验证了流数据服务的性能,印证了流数据服务能够响应不同的数据需求,在毫秒级别将数据流分发给不同应用.
文摘物联网数据是当前一类典型的大数据,其应用正成为诸多行业领域的热点,围绕物联网数据的应用往往可以被表7K为由一组大数据处理与分析任务构成的工作流.与传统工作流不同的是,IoT(Internet of Things)环境下这种数据驱动的工作流具有数据来源分散、数据规模大、云边协同分布执行等特点,给IoT数据工作流的执行带来了数据流控制管理、数据传输调度等方面的诸多挑战.针对IoT数据工作流的执行约束和数据传输优化问题.提出一种面向IoT数据工作流的分割与调度优化方法.首先对IoT数据工作流的执行约束条件、边缘节点负载以及数据传输量进行建模,进而以数据传输和执行时间优化为目标设计一种云边架构下IoT数据工作流的分割算法和子工作流执行调度算法.通过基于WorkflowSim的仿真实验结果表明,提出的算法与典型的HEFT和MINMIN算法相比,可以在保障边缘节点执行约束和负载均衡的条件下有效降低IoT数据工作流的执行时间.
