31653025 发表于 2024-12-4 10:20:05

大数据离线数仓项目《知行教育》完整资料

项目名称：知行教育数仓项目

项目架构：

数据源：电咨、线下面授、在线教育等OLTP系统的数据，大多存储于mysql。
数据抽取：使用sqoop实现关系型数据库和大数据集群的双向同步。 数据存储：HDFS
数据清洗：数据的清洗、转换、统计分析等都是使用基于CM管理的Hive来进行的。
数据分析：数据的清洗、转换、统计分析等都是使用基于CM管理的Hive来进行的。
数据同步：使用sqoop实现关系型数据库和大数据集群的双向同步。 OLAP数据服务：采用常用的Mysql数据库。



开发环境：

jdk：Jdk1.8

Scala：2.11.8

CDH6.2.1： zookeeper-3.4.5-cdh6.2.1、hadoop-3.0.0-cdh6.2.1，hive-2.1.1-cdh6.2.1、hue-4.3.0-cdh6.2.1

Sqoop：sqoop-1.4.7-cdh6.2.1

Mysql：5.7

Zeppelin：0.8.0

项目需求：

4.在线教育业务需求
4.1访问和咨询用户数据看板
4.2意向用户看板
4.3有效线索看板
44报名用户看板
4.5学生出勤看板

**** Hidden Message *****

1609118451 发表于 2024-12-4 12:00:46

6666666666666666666

beyourself 发表于 2024-12-4 17:38:26

6666666666666666666666

cool 发表于 2024-12-5 16:15:32

6666666666666666666666

aihacker 发表于 2024-12-22 11:15:51

大数据离线数仓项目《知行教育》完整资料

cwz2117 发表于 2025-1-14 09:33:42

感谢楼主 前来学习!!!!

tangmin996 发表于 2025-5-16 19:41:30

谢谢分享
页: [1]
查看完整版本: 大数据离线数仓项目《知行教育》完整资料