在CGFT考試中大數(shù)據(jù)云計(jì)算的關(guān)鍵技術(shù)是什么呢?在CGFT考試中基礎(chǔ)知識(shí)很重要,我們一起看看!云計(jì)算的關(guān)鍵技術(shù)包括虛擬化、分布式存儲(chǔ)、分布式計(jì)算、多租戶等。
(1)虛擬化
虛擬化技術(shù)是云計(jì)算基礎(chǔ)架構(gòu)的基石,是指將一臺(tái)計(jì)算機(jī)虛擬為多臺(tái)邏輯計(jì)算機(jī),在一臺(tái)計(jì)算機(jī)上同時(shí)運(yùn)行多個(gè)邏輯計(jì)算機(jī),每個(gè)邏輯計(jì)算機(jī)可運(yùn)行不同的操作系統(tǒng),并且應(yīng)用程序都可以在相互獨(dú)立的空間內(nèi)運(yùn)行而互不影響,從而顯著提高計(jì)算機(jī)的工作效率。
虛擬化的資源可以是硬件(如服務(wù)器、磁盤和網(wǎng)絡(luò)),也可以是軟件。以服務(wù)器虛擬化為例,它將服務(wù)器物理資源抽象成邏輯資源,讓一臺(tái)服務(wù)器變成幾臺(tái)甚至上百臺(tái)相互隔離的虛擬服務(wù)不再受限于物理上的界限,而是讓CPU、內(nèi)存、磁盤、I/O等硬件變成可以動(dòng)態(tài)管理的“資源池”從而提高資源的利用率,簡化系統(tǒng)管理,實(shí)現(xiàn)服務(wù)器整合,讓IT對(duì)業(yè)務(wù)的變化更具適應(yīng)力。
(2)分布式存儲(chǔ)
面對(duì)數(shù)據(jù)爆炸的時(shí)代,集中式存儲(chǔ)已經(jīng)無法滿足海量數(shù)據(jù)的存儲(chǔ)需求,分布式存儲(chǔ)應(yīng)運(yùn)而生GFS(Google File System)是谷歌公司推出的一款分布式文件系統(tǒng),可以滿足大型、分布式、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用的需求。GFS具有很好的硬件容錯(cuò)性,可以把數(shù)據(jù)存儲(chǔ)到成百上千臺(tái)服務(wù)器上面,并在硬件出錯(cuò)的情況下盡量*數(shù)據(jù)的完整性。GFS還支持GB或者TB級(jí)別超大文件的存儲(chǔ),一個(gè)大文件會(huì)被分成許多塊,分散存儲(chǔ)在由數(shù)百臺(tái)機(jī)器組成的集群里。
HDFS(Hadoop Distributed File System)是對(duì)GFS的開源實(shí)現(xiàn),它采用了更加簡單的“一次寫入、多次讀取”文件模型,文件一旦創(chuàng)建、寫入并關(guān)閉了,之后就只能對(duì)它執(zhí)行讀取操作,而不能執(zhí)行任何修改操作;同時(shí),HDFS是基于Java實(shí)現(xiàn)的,具有強(qiáng)大的跨平臺(tái)兼容性,只要是JDK支持的平臺(tái)都可以兼容。
(3)分布式計(jì)算
面對(duì)海量的數(shù)據(jù),傳統(tǒng)的單指令單數(shù)據(jù)流順序執(zhí)行的方式,已經(jīng)無法滿足快速數(shù)據(jù)處理的要求;同時(shí),我們也不能寄希望于通過硬件性能的不斷提升來滿足這種需求,因?yàn)椋捎诰w管電路已經(jīng)逐漸接近其物理上的性能*限,摩爾定律已經(jīng)開始慢慢失效,CPU處理能力再也不會(huì)每隔18個(gè)月翻一番。
MapReduce將復(fù)雜的、運(yùn)行于大規(guī)模集群上的并行計(jì)算過程抽象為兩個(gè)函數(shù)——Map和Reduce并把一個(gè)大數(shù)據(jù)集切分成多個(gè)小的數(shù)據(jù)集,分布到不同的機(jī)器上進(jìn)行并行處理,*大提高了數(shù)據(jù)處理速度,可以有效滿足許多應(yīng)用對(duì)海量數(shù)據(jù)的批量處理需求。Hadoop開源實(shí)現(xiàn)了MapReduce編程框架,被廣泛應(yīng)用于分布式計(jì)算。
(4)多租戶
多租戶技術(shù)目的在于使大量用戶能夠共享同一堆棧的軟硬件資源,每個(gè)用戶按需使用資源,能夠?qū)浖?wù)進(jìn)行客戶化配置,而不影響其他用戶的使用。多租戶技術(shù)的核心包括數(shù)據(jù)隔離、客戶化配置、架構(gòu)擴(kuò)展和性能定制。
學(xué)習(xí)交流群(掃碼免費(fèi)加群)
- 1、新手入門
- 2、學(xué)習(xí)資料
- 3、免費(fèi)課程
- 4、考試動(dòng)態(tài)
- 5、備考干貨
- 6、答疑沖刺