在昆明北大青鳥(niǎo)計(jì)算機(jī)學(xué)校大數(shù)據(jù)培訓(xùn)第二階段的學(xué)習(xí)剛剛結(jié)束，讓我感覺(jué)到時(shí)間總是像從指尖流過(guò)的細(xì)沙，在不經(jīng)意間悄然滑落。那些往日的憂愁和悲傷，在似水流年的蕩滌下隨波輕輕地逝去，而留下的歡樂(lè)和笑靨就在記憶深處歷久彌新，而對(duì)于編程技術(shù)的學(xué)習(xí)，我想更多的還是需要去總結(jié)，才能更好的進(jìn)步。

在昆明北大青鳥(niǎo)計(jì)算機(jī)學(xué)校大數(shù)據(jù)培訓(xùn)第二階段的學(xué)習(xí)，第一部分就是HDFS文件存儲(chǔ)系統(tǒng)。就像我們操作系統(tǒng)的任意一種存儲(chǔ)系統(tǒng)一樣，這個(gè)模塊決定了文件存在哪里，怎么存取。只不過(guò)他被hadoop集成使用。

主要的進(jìn)程有三個(gè)：NameNode 、DataNode 、Secondary、Name這三個(gè)類(lèi)，是有main函數(shù)的;第二部分就是計(jì)算框架mapreduce，同hadoop1.x里的實(shí)現(xiàn)基本一致;第三部分是調(diào)度框架yarn。yarn的作用是什么?調(diào)度!這個(gè)詞是精髓，調(diào)度資源，調(diào)度任務(wù)。主要進(jìn)程：resourceManager ApplicationMaster，NodeManager這三個(gè)類(lèi)，也是有main函數(shù)的。resourceManager 接到客戶端提交的任務(wù)，會(huì)申請(qǐng)資源(container)，本質(zhì)是在集群中的一臺(tái)機(jī)器上，與其上的NodeManager協(xié)調(diào)，在資源上啟動(dòng)ApplicationMaster。然后把job的控制權(quán)交給ApplicationMaster。后者接管后，根據(jù)任務(wù)的描述信息，去向resourceManager 申請(qǐng)運(yùn)行task的資源。根據(jù)resourceManager 的回饋(資源可用情況描述)，與可用的節(jié)點(diǎn)(NodeManager)協(xié)調(diào)，啟動(dòng)task任務(wù)。task任務(wù)啟動(dòng)，那么就使用計(jì)算框架內(nèi)容執(zhí)行具體的計(jì)算了，而hdfs文件讀取，貫穿于整個(gè)job執(zhí)行階段，這些是第二階段總結(jié)。

或許你對(duì)以上的總結(jié)沒(méi)有特別清晰的理解，但要知道的就是學(xué)習(xí)編程技術(shù)一定是給自己學(xué)的，而不是應(yīng)付學(xué)習(xí)，最重要的就是要擺正學(xué)習(xí)態(tài)度，才會(huì)有進(jìn)步的空間和提升。