依托大数据技术实现高速公路的实时数据采集,可以为高速公路数据挖掘奠定良好的数字化基础,这也是高速公路实现数字化、智慧化的重要基础。本文基于CDH大数据平台,结合Otter-Canal和StreamSets Data Collector(SDC)ETL工具技术组合、Ng...依托大数据技术实现高速公路的实时数据采集,可以为高速公路数据挖掘奠定良好的数字化基础,这也是高速公路实现数字化、智慧化的重要基础。本文基于CDH大数据平台,结合Otter-Canal和StreamSets Data Collector(SDC)ETL工具技术组合、Nginx反向代理技术、kafka,实现在复杂的网络层级间高速公路的实时数据采集,并通过数据采集监控大屏、采集指标多方面监控数据采集健康状况,提高数据采集管理效率。以LSTM算法对断面动态数据挖掘分析为例,展示了以断面流量预测为代表的典型实时数据采集应用场景,旨在为相关部门制定科学的运营管理决策提供技术辅助和数据支持。实时数据采集也是未来通行费运营管理、紧急事件处置、车辆稽核逃费追缴等多种不同业务场景的重要应用基础。展开更多
文摘依托大数据技术实现高速公路的实时数据采集,可以为高速公路数据挖掘奠定良好的数字化基础,这也是高速公路实现数字化、智慧化的重要基础。本文基于CDH大数据平台,结合Otter-Canal和StreamSets Data Collector(SDC)ETL工具技术组合、Nginx反向代理技术、kafka,实现在复杂的网络层级间高速公路的实时数据采集,并通过数据采集监控大屏、采集指标多方面监控数据采集健康状况,提高数据采集管理效率。以LSTM算法对断面动态数据挖掘分析为例,展示了以断面流量预测为代表的典型实时数据采集应用场景,旨在为相关部门制定科学的运营管理决策提供技术辅助和数据支持。实时数据采集也是未来通行费运营管理、紧急事件处置、车辆稽核逃费追缴等多种不同业务场景的重要应用基础。
