項目一 認(rèn)識大數(shù)據(jù)及 Hadoop 集群搭建與運(yùn)維 1
知識目標(biāo) 1
技能目標(biāo) 1
項目描述 1
任務(wù)1. 1 認(rèn)識大數(shù)據(jù) 2
任務(wù)1. 2 安裝與管理 CentOS 8 服務(wù)器操作系統(tǒng) 8
任務(wù)1. 3 搭建 Hadoop 集群 28
任務(wù)1. 4 Hadoop 集群運(yùn)行與維護(hù) 46
思政視窗 64
知識小結(jié) 65
課后練習(xí) 65
項目二 ZooKeeper 環(huán)境搭建與基本操作 67
知識目標(biāo) 67
技能目標(biāo) 67
項目描述 67
任務(wù)2. 1 安裝與配置 ZooKeeper 67
任務(wù)2. 2 ZooKeeper CLI 操作 78
任務(wù)2. 3 Hadoop 高可用集群環(huán)境搭建 86
思政視窗 101
知識小結(jié) 101
課后練習(xí) 102
項目三 Kafka 與 Flume 環(huán)境搭建與基本操作 103
知識目標(biāo) 103
技能目標(biāo) 103
項目描述 103
任務(wù)3. 1 安裝與配置 Kafka 104
任務(wù)3. 2 安裝與配置 Flume 109
任務(wù)3. 3 Flume 與 Kafka 數(shù)據(jù)采集和監(jiān)控 112
思政視窗 123
知識小結(jié) 124
課后練習(xí) 124
項目四 Hive 環(huán)境搭建與基本操作 126
知識目標(biāo) 126
技能目標(biāo) 126
項目描述 126
任務(wù)4. 1 安裝與配置 Hive 126
任務(wù)4. 2 Hive 數(shù)據(jù)庫管理的基本操作 138
思政視窗 161
知識小結(jié) 161
課后練習(xí) 161
項目五 HBase 環(huán)境搭建與基本操作 164
知識目標(biāo) 164
技能目標(biāo) 164
項目描述 164
任務(wù)5. 1 安裝與配置 HBase 165
任務(wù)5. 2 HBase 數(shù)據(jù)庫管理的基本操作 171
思政視窗 182
知識小結(jié) 183
課后練習(xí) 183
項目六 Spark 環(huán)境搭建與基本操作 185
知識目標(biāo) 185
技能目標(biāo) 185
項目描述 185
任務(wù)6. 1 安裝與配置 Spark 185
任務(wù)6. 2 Spark Shell 操作 191
思政視窗 198
知識小結(jié) 198
課后練習(xí) 199
項目七 ClickHouse 環(huán)境搭建與基本操作 200
知識目標(biāo) 200
技能目標(biāo) 200
項目描述 200
任務(wù)7. 1 安裝與配置 ClickHouse 200
任務(wù)7. 2 ClickHouse 操作 205
思政視窗 211
知識小結(jié) 211
課后練習(xí) 212
項目八 Flink 環(huán)境搭建與基本操作 213
知識目標(biāo) 213
技能目標(biāo) 213
項目描述 213
任務(wù) 安裝與配置 Flink 213
思政視窗 218
知識小結(jié) 218
課后練習(xí) 218
項目九 Sqoop 環(huán)境搭建與基本操作 220
知識目標(biāo) 220
技能目標(biāo) 220
項目描述 220
任務(wù)9. 1 安裝與配置 Sqoop 220
任務(wù)9. 2 MySQL 數(shù)據(jù)遷徙到 HDFS 和 Hive 226
思政視窗 234
知識小結(jié) 234
課后練習(xí) 235