Мени

Водич за почетнике Апацхе Хадооп ИАРН | Шта је предиво?

  • Главни
  • Остало
  • Водич за почетнике Апацхе Хадооп ИАРН | Шта је предиво?

apache hadoop yarn tutorial

Хадооп компоненте - МапРедуце помоћу Хадооп пређе:



У нашем претходном водичу о компоненти Хадооп сазнали смо о Хадооп МапРедуце-у и његовом механизму обраде попут ИНПУТ, СПЛИТТИНГ, МАППИНГ, СХУФФЛИНГ, РЕДУЦИНГ и ФИНАЛ РЕСУЛТ.

У овом упутству ћемо истражити:

  • Како Мап Редуце ради са предивом?
  • Ток рада апликације Хадооп ИАРН.

=> Погледајте овде водич за почетнике БигДата.



КАРТУ СМАЊИТЕ ХАДООП ПРЕДИЈАЛОМ

Шта ћете научити:



Карта смањите са Хадооп ПРЕДИЈОМ

Хајде да схватимо како МапРедуце користи ИАРН за извршавање послова преко Хадооп кластера. Али пре него што наставимо, прво то питање нам падне на памет који је пуни облик предива? Или шта значи ИАРН?

ПРЕЂА значи Још један преговарач о ресурсима.

Она је та која додељује ресурсе за разне послове који треба да се изврше преко Хадооп кластера. Представљен је у Хадооп 2.0.

До Хадооп-а 1.0 МапРедуце је био једини оквир или једина процесорска јединица која је могла да се изврши преко Хадооп кластера. Међутим, у Хадооп-у 2.0 ИАРН је представљен и користећи то, можемо и даље од МапРедуце-а.

Фрамеворк Подржава Хадооп ИАРН

Као што можете видети на дијаграму, имамо ХДФС у дну између, имамо ИАРН и користећи ИАРН, пуно оквира је у стању да повеже и користи ХДФС. Дакле, чак се и МапРедуце користи за повезивање помоћу ИАРН-а за тражење ресурса и тек тада може извршити посао преко ХДФС-а, тј. Хадооп кластера.

Слично томе; СПАРК, СТОРМ и други претраживачи могу се повезати на ХДФС. ХБасе, која није база података СКЛ, такође је може повезати. Тако су апликације ХДФС-а постале огромне, само зато што је ИАРН успео да отвори Капију и за друге оквире и друге аналитичке алате Бигдата.

Која је разлика између МапРедуце Версион1 (МРв1) и МапРедуце Версион2 (МРв2)?

МРв1 је у основи био део Хадооп оквира 1, а са Хадооп 2 ИАРН је ушао у слику и МапРедуце је надограђен на МРв2 са неколико промена у класама. Предмети су ажурирани, међутим, синтакса писања програма МапРедуце остаје иста.

У овом сценарију, МапРедуце се сада повезује са ИАРН ради осовине ХДФС-а.

Заједно са ИАРН-ом, Ресоурце Манагер и Ноде Манагер су нови демони који су уведени у Хадооп кластер.

Раније су то били Јоб Трацкер и Таск Трацкер. Међутим, уклоњени су из Хадооп-а 2.0, а Ресоурце Манагер и Ноде Манагер су уведени заједно са ИАРН-ом у Хадооп-ов оквир.

Хадооп 2.к демони

Кратко ћемо погледати ново представљене демоне у Хадооп-у 2.0 који покрећу компоненте, односно складиштење и обраду.

У водичу за ХДФС детаљно смо разумели демон, тј. НамеНоде и ДатаНоде. У овом упутству ћемо разумети како Ресоурце Манагер и Ноде Манагер раде у Хадооп 2.к кластеру како би управљали обрадом и пословима који треба да се изврше у Хадооп кластеру.

Компоненте Хадооп 2.Кс

Па, шта је Ресоурце Манагер? Ресоурце Манагер је главни демон који ради на главној машини или НамеНоде који је врхунска машина. С друге стране, Ноде Манагер је Даемон који се покреће на подређеним машинама или ДатаНодес-има или заједно са ДатаНоде Процесс-ом.

Хадооп 2.к МапРедуце компоненте пређе

Истражимо остале компоненте ПРЕЂЕ у наставку.

  • Клијент: То је јединица која предаје интерфејс командне линије налик послу (ЦЛИ), а клијент може бити ЈАВА апликација.
  • Ресоурце Манагер: То је главни демон којем се сви послови достављају од клијента и он додељује све ресурсе на нивоу кластера за извршавање одређеног посла. Ради на врхунској машини која има квалитетан хардвер и добру конфигурацију, јер је главна машина та која мора управљати свиме преко кластера.
  • Ноде Манагер : То је Славе Даемон који ради на славе уређајима или ДатаНоде-у, тако да свака славе машина има покренут Ноде Манагер. Надгледа ресурсе одређеног ДатаНоде-а, Ресоурце Манагер управља ресурсима кластера, а Ноде Манагер управља ДатаНоде ресурсима.
  • Сервер историје послова: Јединица је да води евиденцију свих послова који су извршени током кластера или су предати кластеру. Такође бележи статус, а такође чува и датотеке дневника сваког извршења које се десило у Хадооп кластеру.
  • Мастер Мастер : То је компонента која се извршава преко Ноде Мацхине, Славе Мацхине и креира је Ресоурце Манагер за извршавање и управљање послом. Она преговара о ресурсима из Ресоурце Манагер-а и коначно се координира са Ноде Манагер-ом за извршавање задатка.
  • Контејнер: Креира га сам Ноде Манагер који му је доделио Ресоурце Манагер и сви послови се коначно извршавају у контејнеру.

Ток предива

Ток предива

Као што је приказано на горњем дијаграму, постоји Ресоурце Манагер којој се предају сви послови и постоји кластер у којем постоје подређене машине, а на свакој подређеном строју постоји Ноде Манагер трчање.

како направити Јава отворене јар датотеке

Ресоурце Манагер има две компоненте тј. Планер и Апликација менаџер.

Која је разлика између Апплицатион Мастер и Апплицатион Манагер?

Апликација менаџер је компонента Ресоурце Манагер што осигурава извршење сваког задатка и Мастер Мастер је створена за то. Мастер Мастер, с друге стране, неко ко извршава задатак и захтева све ресурсе који су потребни за извршавање.

Рецимо да је посао предат Ресоурце Манагер , чим се посао преда, Планер заказује посао. Када се Планер заказује посао који треба извршити Апликација менаџер створиће а Контејнер у једном од ДатаНодес , и унутар овог Контејнер, тхе Мастер Мастер ће бити покренут.

Ово Мастер Мастер затим ће се регистровати код Ресоурце Манагер и захтев за а Контејнер да изврши задатак. Чим се Контејнер је додељена, Мастер Мастер сада ће бити повезан са Ноде Манагер и захтев за покретање Контејнер .

Као што видимо, Мастер Мастер додељен за ДатаНодес Д. и ИС , а сада ово Мастер Мастер затражио је Ноде Манагер за покретање Контејнери од ДатаНоде Д. и ДатаНоде Е. .

Чим се Контејнери су покренути, Мастер Мастер извршиће задатак у оквиру Контејнер а резултат ће бити послат назад на Клијент .

Ток апликације

Хајде да ово схватимо на мало секвенцијални начин.

На доњем дијаграму имамо четири компоненте. Прва је Клијент, друга је Ресоурце Манагер , трећи је Ноде Манагер а четврти ред садржи Мастер Мастер .

Редослед извршења

Па да видимо како се извршавају ови кораци између њих.

Први корак је Клијент који посао предаје на Ресоурце Манагер , у другом кораку Ресоурце Манагер издваја а Контејнер за покретање Мастер Мастер на Славе Мацхинес ; трећи корак је Мастер Мастер региструје код Ресоурце Манагер .

Чим се региструје, захтева Контејнер да изврши задатак тј. четврти корак. У петом кораку, Мастер Мастер обавештава Ноде Манагер на којој је Контејнер треба покренути.

У шестом кораку, једном Ноде Манагер је покренуо Контејнери, тхе Мастер Мастер извршиће код у оквиру ових Контејнери .

Коначно, у седмом кораку, Клијент контактира Ресоурце Манагер или Мастер Мастер за надгледање статуса апликације.

На крају, Мастер Мастер ће се одјавити из Ресоурце Манагер а резултат се враћа на Клијент . Дакле, ово је један једноставан секвенцијални ток извршавања програма МапРедуце помоћу ИАРН оквира.

Закључак

Дакле, у овом упутству смо научили следеће смернице:

  • ПРЕЂА значи Још један преговарач о ресурсима.
  • ПРЕЂА је представљена у Хадооп 2.0
  • Ресоурце Манагер и Ноде Манагер су представљени заједно са ИАРН-ом у Хадооп оквиру.
  • ИАРН компоненте као што су клијент, менаџер ресурса, менаџер чворова, сервер историје послова, мастер апликације и контејнер.

У предстојећем водичу разговараћемо о техникама тестирања БигДата и изазовима са којима се суочава БигДата тестирање. Такође ћемо упознати како превазићи те изазове и било које заобилазне начине како бисмо олакшали БигДата тестирање.

=> Посетите овде да бисте научили велике податке од нуле.

Препоручено читање



^