|
|
发表于 2024-12-22 12:34:31
|
显示全部楼层
本套教程堪称物流行业
大数据处理领域的重磅之作，项目借助真实物流行业的海量业务数据，构建了完整的数据采
集、分析、处理、展示通道，严格遵循主流数据仓库建模理论，搭建了高效率、高组织性、
高可实施性的数仓架构体系。
教程共分三大部分：采集系统、离线数仓、实时数仓。项目拥有完善的离线指标体系和实时
指标体系，各指标体系均进行了完整的指标拆解与分析，形成了庞大的指标网络。涵盖 30
多个 Shell 脚本，30 多张业务数据原始表格，100 多张数仓分层表，分析展示了上百个离
线指标、几十个实时指标。
项目采用 FlinkCDC 和 DataX 作为数据采集工具，灵活设计数据采集策略，将采集来的数
据同时服务于离线数仓和实时数仓。结合阿里巴巴成熟的数仓构建实践，总结出一套数仓建
模理论体系，并梳理出通用的数仓建模步骤。分别使用 Hive 和 Flink 构建离线数仓和实时
数仓，采用了流行的任务流调度系统 DolphinScheduler。 |
|
