Lær den 10 bedste forskel mellem MapReduce vs Garn

Forskellen mellem kort reducering og garn

Garn står for Yet Another Resource Negotiator, det er den nye ramme til styring af ressourcer (hukommelse og CPU). Det hjælper os med at udvikle den distribuerede applikation af enhver art, det giver os nødvendige dæmoner og API'er. En anden vigtig funktion ved YARN er, at den håndterer og planlægger ressourceanmodning fra applikationen og hjælper processen med at udføre anmodningen. YARN er en generisk platform til at køre en distribueret applikation, Map Reduce version 2 er den distribuerede applikation, der kører oven på YARN, hvorimod kortreduktion behandler enhed af Hadoop-komponenten, behandler den data parallelt i det distribuerede miljø. Så dybest set kortreducerende arbejde med enorme datakomponenter, det behandler dataene og gemmer i HDFS på en sådan måde, at hentning er lettere end traditionel opbevaring.

Head to Head sammenligning mellem MapReduce vs Garn (Infographics)

Nedenfor er Top 10 sammenligningen mellem MapReduce vs garn

Nøgleforskel mellem MapReduce vs Garn

I Hadoop 1 har den to komponenter, den første er HDFS (Hadoop Distribueret filsystem) og den anden er Kortreducering. Mens Hadoop 2 også har to-komponent HDFS og YARN / MRv2 (vi kaldte normalt YARN som Map reducere version 2).
I Map Reduce, når Map-reducering holder op med at arbejde, vil automatisk alle hans slaveknudepunkter stoppe med at arbejde, dette er det scenarie, hvor jobudførelse kan afbryde, og det kaldes et enkelt mislykkelsespunkt. YARN overvinder dette problem på grund af dets arkitektur, YARN har konceptet aktiv navne knude såvel som standby navn knude. Når aktiv knude stopper med at arbejde i nogen tid, begynder den passive knude at fungere som aktiv knude og fortsætte udførelsen.
Kortreduktion har enkelt master- og multiple slavearkitektur. Hvis master-slave går ned, vil hele slaven stoppe med at arbejde. Dette er det eneste mislykkelsespunkt i HADOOP1, hvorimod HADOOP2, der er baseret på YARN-arkitektur, har begrebet multiple master og slave, Hvis en master går ned, vil en anden master genoptage sin proces og fortsætte udførelsen.
Som vi kan se i nedenstående diagram, er forskellen i både økosystemer HADOOP1 og HADOOP2. Komponentvis YARN-ressourcestyring interagerer med Map-reducer og HDFS.

Så dybest set er YARN ansvarlig for ressourcestyring, hvilket job udføres ved hvilket system der bliver besluttet af YARN, mens kortreduktion er programmeringsrammer, der er ansvarlig for, hvordan man udfører et bestemt job, så dybest set har kortreduktion to komponentkort og reducer til udførelse af et program.

I Kort reduceres hver dataknudekørsel individuelt, mens i garn kører hver dataknudepunkt af en knudeadministrator.
Kortreduktion bruger Job tracker til at oprette og tildele en opgave til task tracker på grund af data er styringen af ressourcen ikke imponerende, hvilket resulterer i, at nogle af datanoderne vil være inaktive og ikke er til brug, mens YARN har en Resource Manager for hver klynge, og hver dataknude kører en Node Manager. For hvert job fungerer en slaveknude som Application Master og overvåger ressourcer / opgaver.

MapReduce vs Garn sammenligningstabel

Grundlag for sammenligning	garn	Kort reducere
Betyder	Garn står for endnu en ressourceforhandler.	Kortnedsættelse er selvdefineret.
Version	Introducer i Hadoop 2.0	Introducer i Hadoop 1.0
Ansvar	Nu er YARN ansvarlig for Resource management-delen.	Tidligere Map reducering var ansvarlig for ressourcestyring såvel som databehandling
Udførelsesmodel	Garnudførelsesmodel er mere generisk i forhold til kortreduktion	Mindre generisk sammenlignet med YARN.
Udførelse af ansøgning	YARN kan også udføre disse applikationer, som ikke følger Map Reduce-modellen	Map Reduce kan udføre deres egen modelbaserede applikation.
Arkitektur	YARN introduceres i MR2 oven på job tracker og task tracker. I stedet for job tracker og task tracker Application kommer masteren ind i billedet.	I den tidligere version af MR1 er YARN ikke der I stedet for YARN job tracker og task tracker var til stede, som hjælper med udførelsen af applikation eller job
Fleksibilitet	Garn er mere isoleret og skalerbar	Mindre skalerbar sammenlignet med YARN.
dæmoner	YARN har Navneknudepunkt, Dataknudepunkt, sekundær Navneknudepunkt, Ressourcehåndtering og Nodehåndtering.	Map Reduce har Navneknudepunkt, Dataknudepunkt, Sekundær Navneknudepunkt, job tracker og task tracker.
Begrænsning	Der er ikke noget begreb om et enkelt mislykkelsespunkt i YARN, fordi det har flere Masters, så hvis en mislykkes, vil en anden master hente det og genoptage udførelsen.	Enkelt mislykkelsespunkt, lav ressourceudnyttelse (Maks. 4200 klynger af YAHOO) og mindre skalerbarhed sammenlignet med YARN
Størrelse	Som standard er størrelsen på en dataknudepunkt i YARN 128 MB	Som standard er størrelsen på en dataknudepunkt i Kortreduktion 64MB.

Konklusion - MapReduce vs Garn

I Hadoop 1, der er baseret på Map Reduce, er der flere problemer, der overvindes i Hadoop 2 med Garn. Ligesom i Hadoop 1 er job tracker ansvarlig for ressourcestyring, men YARN har konceptet ressource manager såvel som node manager som vil tage ressourcestyring. Kortreduktion har et enkelt mislykkelsespunkt, dvs. Job tracker, hvis job tracker holder op med at arbejde, skal vi genstarte hele vores klynge og udføre vores job igen fra Initial. I et reelt scenarie ønsker ingen af organisationen at tage denne form for risiko, især i en bankforsvarssektor. En sådan organisation, der arbejder med strømline-data, er ikke klar til at tage denne form for risiko. Af hensyn til få minutter mister de deres data og kan have en vis kritisk forretningspåvirkning. Så YARN har et bedre resultat i forhold til Map-reducering.

Anbefalet artikel

Dette har været en guide til MapReduce vs Garn, deres betydning, sammenligning mellem hoved og hoved, nøgleforskelle, sammenligningstabel og konklusion. Du kan også se på de følgende artikler for at lære mere -