Introduktion til Hadoop Ecosystem
Hadoop-økosystemet er en ramme, der hjælper med at løse big data-problemer. Kernekomponenten i Hadoop-økosystemet er et Hadoop distribueret filsystem (HDFS). HDFS er det distribuerede filsystem, der har kapaciteten til at gemme en stor stak datasæt. Ved hjælp af shell-kommandoer HADOOP interaktivt med HDFS. Hadoop Afbryder ustrukturerede data og distribuerer til forskellige sektioner til dataanalyse. Økosystemet leverer mange komponenter og teknologier har kapacitet til at løse forretningsmæssige komplekse opgaver. Økosystemet inkluderer open source-projekter og eksempler
Oversigt over Hadoop Ecosystem
Som vi alle ved, at Internettet spiller en vigtig rolle i den elektroniske industri, og mængden af data, der genereres gennem noder, er meget enorm og fører til datarevolutionen. Data er enorme i volumen, så der er behov for en platform, der tager sig af dem. Hadoop-arkitekturen minimerer arbejdsstyrken og hjælper med jobplanlægning. For at behandle disse data har vi brug for en stærk beregningskraft for at tackle dem. Efterhånden som data vokser drastisk kræver det store mængder hukommelse og hurtigere hastighed til at behandle terabytes af data, for at imødegå de udfordringer, der distribueres, bruges systemet, der bruger flere computere til at synkronisere dataene. For at tackle dette behandlingssystem er det obligatorisk at opdage softwareplatform til håndtering af datarelaterede problemer. Der udvikler Hadoop til at løse big data-problemer.
Komponenter i Hadoop økosystem
Som vi har set en oversigt over Hadoop Ecosystem og velkendte open source-eksempler, skal vi nu diskutere dybt listen over Hadoop-komponenter hver for sig og deres specifikke roller i big data-behandlingen. Komponenterne i Hadoop-økosystemer er:
-
HDFS:
Hadoop Distribueret filsystem er rygraden i Hadoop, der kører på java-sprog og gemmer data i Hadoop-applikationer. De fungerer som en kommando-grænseflade til at interagere med Hadoop. de to komponenter i HDFS - Dataknudepunkt, Navneknap. Navneknap hovednoden administrerer filsystemer og betjener alle dataknudepunkter og opretholder poster over opdatering af metadata. I tilfælde af sletning af data registreres de automatisk i redigeringslog. Data Node (Slave Node) kræver stor lagerplads på grund af udførelsen af læse- og skrivehandlinger. De fungerer i henhold til instruktionerne i Navneknudepunktet. Dataknudepunkterne er hardware i det distribuerede system.
-
HBASE:
Det er en open source-ramme, der lagrer alle typer data og understøtter ikke SQL-databasen. De kører på toppen af HDFS og er skrevet på java-sprog. De fleste virksomheder bruger dem til dens funktioner som f.eks. Understøttelse af alle typer data, høj sikkerhed, brug af HBase-tabeller. De spiller en vigtig rolle i den analytiske behandling. De to hovedkomponenter i HBase er HBase master, Regional Server. HBase-masteren er ansvarlig for belastningsbalancering i en Hadoop-klynge og kontrollerer failover. De er ansvarlige for at udføre administrationsrollen. Den regionale servers rolle vil være en arbejdsknudepunkt og ansvarlig for at læse, skrive data i cachen.
-
garn:
Det er en vigtig komponent i økosystemet og kaldes som et operativsystem i Hadoop, der leverer ressourcestyring og jobplanlægningsopgave. Komponenterne er Resource and Node manager, Application manager og en container. De fungerer også som vagter på tværs af Hadoop-klynger. De hjælper med den dynamiske allokering af klyngeressourcer, forøgelse af datacenterprocessen og tillader flere adgangsmotorer.
-
Sqoop:
Det er et værktøj, der hjælper med dataoverførsel mellem HDFS og MySQL og giver hand-on til at importere og eksportere data, de har et stik til hentning og tilslutning af data.
-
Apache Spark:
Det er en open source-klyngeregistreringsramme til dataanalyse og en vigtig databehandlingsmotor. Det er skrevet i Scala og leveres med pakket standardbiblioteker. De bruges af mange virksomheder til deres høje forarbejdningshastighed og strømforarbejdning.
-
Apache Flume:
Det er en distribueret service, der indsamler en stor mængde data fra kilden (webserver) og flytter tilbage til dens oprindelse og overføres til HDFS. De tre komponenter er kilde, synke og kanal.
-
Hadoop-kortreducering:
Det er ansvarligt for databehandling og fungerer som en kernekomponent i Hadoop. Map Reduce er en behandlingsmotor, der udfører parallel behandling i flere systemer i samme klynge. Denne teknik er baseret på divide and conquers-metoden, og den er skrevet i java-programmering. På grund af parallel behandling hjælper det med den hurtige proces til at undgå overbelastningstrafik og forbedrer effektiv databehandling.
-
Apache-gris:
Datamanipulation af Hadoop udføres af Apache Pig og bruger Pig Latin Language. Det hjælper med genanvendelse af kode og let at læse og skrive kode.
-
hive:
Det er en open source-platformsoftware til udførelse af datalagringskoncepter, det formår at spørge om store datasæt, der er gemt i HDFS. Det er bygget oven på Hadoop-økosystemet. det sprog, der bruges af Hive, er Hive Query-sprog. Brugeren sender hiveforespørgsler med metadata, der konverterer SQL til kortreducerende job og gives til Hadoop-klyngen, der består af en master og mange antal slaver.
-
Apache Drill:
Apache Drill er en open source SQL-motor, der behandler ikke-relationelle databaser og filsystem. De er designet til at understøtte semistrukturerede databaser, der findes i Cloud-opbevaring. De har gode hukommelsesstyringsfunktioner til at vedligeholde affaldsindsamling. De tilføjede funktioner inkluderer Columnar-repræsentation og brug af distribuerede sammenføjninger.
-
Apache Zookeeper:
Det er en API, der hjælper med distribueret koordination. Her oprettes en node kaldet Znode af en applikation i Hadoop-klyngen. De udfører tjenester som synkronisering, konfiguration. Det sorterer den tidskrævende koordinering i Hadoop økosystem.
-
Oozie:
Oozie er en java-webapplikation, der vedligeholder mange arbejdsgange i en Hadoop-klynge. At have APIs til webservicekontroller over et job udføres overalt. Det er populært til effektiv håndtering af flere job.
Eksempler på Hadoop økosystem
Med hensyn til kortreduktion kan vi se et eksempel og bruge sag. et sådant tilfælde er Skybox, der bruger Hadoop til at analysere en enorm mængde data. Hive kan finde enkelhed på Facebook. Hyppighed af ordtælling i en sætning ved hjælp af kortreduktion. MAP udføres ved at tage tællingen som input og udføre funktioner som filtrering og sortering og reducere () konsoliderer resultatet. Hiveeksempel på at tage studerende fra forskellige tilstande fra studerendes databaser ved hjælp af forskellige DML-kommandoer
Konklusion
Dette afslutter en kort indledende note om Hadoop Ecosystem. Apache Hadoop har vundet popularitet på grund af dens funktioner som analyse af stakken af data, parallel behandling og hjælper med fejltolerance. Kernekomponenterne i økosystemer involverer Hadoop common, HDFS, Map-reducering og garn. At opbygge en effektiv løsning. Det er nødvendigt at lære et sæt komponenter, hver komponent gør deres unikke job, da de er Hadoop-funktionaliteten.
Anbefalede artikler
Dette har været en guide til Hadoop Ecosystem Components. Her diskuterede vi komponenterne i Hadoop-økosystemet i detaljer. Du kan også gennemgå vores andre foreslåede artikler for at lære mere -
- Karriereomfang i Hadoop
- Hvad er anvendelsen af Hadoop?
- Hvad er AWT i Java?
- Lær Data Warehouse vs Hadoop