●  Hadoop集群排錯(cuò)、診斷問(wèn)題和性能調(diào)優(yōu),。

二．培訓(xùn)對(duì)象及學(xué)員基礎(chǔ)

　　面向系統(tǒng)管理員和IT經(jīng)理,，需具備Linux經(jīng)驗(yàn)，無(wú)需ApacheHadoop基礎(chǔ),。

　　三．認(rèn)證

　　結(jié)束本課程培訓(xùn)后,，我們建議學(xué)員準(zhǔn)備并注冊(cè)參加CCAHadoop管理員考試。通過(guò)并獲取該證書是向公司及客戶證明個(gè)人在Hadoop領(lǐng)域的技術(shù)和專長(zhǎng)的有力依據(jù),。

　　四．課程大綱

　　  1.  ApacheHadoop介紹

　　    ●  Hadoop的創(chuàng)建動(dòng)機(jī)

　　    ●  基本概念

　　    ●  Hadoop核心部件

　　  2.  Hadoop集群安裝

　　    ●  集群管理方案

　　    ●  ClouderaManager特性

　　    ●  Clouderamanager安裝

　　    ●  Hadoop(CDH)安裝

　　  3.  Hadoop分布式文件系統(tǒng)(HDFS)

 ●  HDFS特性

　　    ●  讀寫文件

　　    ●  NameNode內(nèi)存考慮

　　    ●  HDFS安全簡(jiǎn)介

　　    ●  HDFSWebUI

　　    ●  使用HDFSShell

　　  4.  YARN上的MapReduce和Spark

　　    ●  計(jì)算平臺(tái)在Hadoop里扮演的角色

　　    ●  YARN：集群資源管理器

　　    ●  MapReduce概念

　　    ●  ApacheSpark概念

　　    ●  Yarn上的計(jì)算平臺(tái)

　　    ●  通過(guò)WebUI及Shell觀察YARN應(yīng)用

　　    ●  YARN應(yīng)用運(yùn)行日志

　　  5.  Hadoop配置及服務(wù)運(yùn)行日志

　　    ●  ClouderaManager配置管理機(jī)制

　　    ●  定位配置參數(shù)及進(jìn)行配置變更

　　    ●  管理角色實(shí)例及添加服務(wù)

　　    ●  配置HDFS服務(wù)

　　    ●  配置Hadoop服務(wù)運(yùn)行日志

　　    ●  配置YARN服務(wù)

　　  6.  HDFS數(shù)據(jù)導(dǎo)入

　　    ●  使用Flume從外部數(shù)據(jù)源實(shí)時(shí)

　　    ●  導(dǎo)入數(shù)據(jù)

　　    ●  使用Sqoop從關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)

　　    ●  REST接口

　　    ●  導(dǎo)入數(shù)據(jù)的實(shí)踐

　　  7.  Hadoop集群規(guī)劃

　　    ●  規(guī)劃考慮因素

　　    ●  硬件選擇

　　    ●  虛擬化選項(xiàng)＊

　　    ●  網(wǎng)絡(luò)因素

　　    ●  節(jié)點(diǎn)配置

　　  8.  Hive,，Impala及Pig安裝及配置

　　    ●  Hive

　　    ●  Impala

　　    ●  Pig

　　  9.  Hadoop客戶端及Hue

　　    ●  什么是Hadoop客戶端

　　    ●  安裝及配置Hadoop客戶端

　　    ●  安裝及配置Hue

　　    ●  使用Hue進(jìn)行身份驗(yàn)證及授權(quán)

　　10.  集群高級(jí)配置

　　    ●  高級(jí)配置參數(shù)

●  Hadoop端口配置

　　    ●  HDFS機(jī)柜感知配置

　　    ●  HDFS高可靠性配置

　　11.  Hadoop安全

　　    ●  Hadoop安全的重要性

　　    ●  Hadoop安全性概念

　　    ●  Kerberos簡(jiǎn)介

　　    ●  使用Kerberos保護(hù)Hadoop集群

　　    ●  其他安全概念

　　12.  資源管理

　　    ●  使用靜態(tài)服務(wù)池配置Linuxcgroup

　　    ●  公平調(diào)度器

　　    ●  配置動(dòng)態(tài)資源池

　　    ●  YARN內(nèi)存及CPU設(shè)置

　　    ●  Impala查詢調(diào)度

　　13.  集群維護(hù)

　　    ●  檢查HDFS狀態(tài)

　　    ●  集群間復(fù)制數(shù)據(jù)

　　    ●  添加/移除集群節(jié)點(diǎn)

　　    ●  集群數(shù)據(jù)負(fù)載平衡

　　    ●  目錄快照

　　    ●  集群升級(jí)

　　14.  集群監(jiān)控及排錯(cuò)

　　    ●  ClouderaManager監(jiān)控特性

　　    ●  監(jiān)控Hadoop集群

　　    ●  Hadoop集群排錯(cuò)

　　    ●  常見(jiàn)配置不當(dāng)問(wèn)題