什么是數(shù)據(jù)存放?在學(xué)習(xí)知識的過程中基礎(chǔ)知識很重要,今天小編給你說說CGFT考試中考的內(nèi)容!
為了提高數(shù)據(jù)的可靠性與系統(tǒng)的可用性,以及充分利用網(wǎng)絡(luò)帶寬,HDFS采用了以機架(Rack)為基礎(chǔ)的數(shù)據(jù)存放策略。
一個HDFS集群通常包含多個機架,不同機架之間的數(shù)據(jù)通訊需要經(jīng)過交換機或者路由器,同一個機架中不同機器之間的通訊則不需要經(jīng)過交換機和路由器,這意味著同一個機架中不同機器之間的通訊要比不同機架之間機器的通訊帶寬大。
HDFS默認每個數(shù)據(jù)節(jié)點都是在不同的機架上,這種方法會存在一個缺點,那就是寫入數(shù)據(jù)的時候不能充分利用同一機架內(nèi)部機器之間的帶寬。
但是,與這點缺點相比,這種方法也帶來了更多很顯著的優(yōu)點:首先,可以獲得很高的數(shù)據(jù)可靠性,即使一個機架發(fā)生故障,位于其他機架上的數(shù)據(jù)副本仍然是可用的;其次,在讀取數(shù)據(jù)的時候,可以在多個機架并行讀取數(shù)據(jù),大大提高了數(shù)據(jù)讀取速度;*后,可以更容易實現(xiàn)系統(tǒng)內(nèi)部負載均衡和錯誤處理。
HDFS默認的阮余復(fù)制因子是3,每一個文件塊會被同時保存到3個地方,其中,有兩份副本放在同一個機架的不同機器上面,第三個副本放在不同機架的機器上面,這樣既可以*機架導(dǎo)堂時的數(shù)據(jù)恢復(fù),也可以提高數(shù)據(jù)讀寫性能。
學(xué)習(xí)交流群(掃碼免費加群)
- 1、新手入門
- 2、學(xué)習(xí)資料
- 3、免費課程
- 4、考試動態(tài)
- 5、備考干貨
- 6、答疑沖刺