Karriere i Hadoop - Introduktion
Hadoop er ikke en ren ramme i Big Data-verdenen. Det har et bredt økosystem med en paraply af relaterede teknologier. Af samme grund er en karriere i Hadoop lovende. Hvis du har en god forståelse af Hadoop-grundlæggende elementer, vil det være et fundament for stor karriere i Hadoop.
Uddannelse til karriere i Hadoop
Som mange nye datateknologier kræver Hadoop ikke nogen specifik uddannelsesmæssig baggrund som sådan. Cirka halvdelen af Hadoop-udviklere er fra ikke-datalogisk baggrunde som statistik eller fysik. Så det er klart, at baggrunden ikke er en hindring for at komme ind i Hadoop's verden, forudsat at du er klar til at lære grundlæggende. Der er gode onlinekurser, der dækker Hadoop - den fra eduCBA er det bedste eksempel - master-apache-Hadoop
Yderligere, hvis du vil bevæge dig dybere ind i et specifikt område af Hadoop-klyngestyring eller datamodellering i Hive-materialer om hvert specifikt emne, der er tilgængeligt som onlinekurser og lærebøger. Det meste af tiden Hadoop-klynger vil blive oprettet i en sky-leverandør som AWS eller Azure. Så bliv fortrolig med enhver cloud-leverandør efter dit valg vil hjælpe meget. Hadoop-service fra AWS kaldes EMR.
Populær specialisering inkluderer:
- Spark - skalerbar databehandlingsmotor i hukommelsen
- HBase - Ingen SQL-database oven på HDFS
- Beam - Streaming af data til behandling af første tilgang
- Pig - Data transformation (ETL) scripting
- Hive - Datalagring
- Mahout, Spark MLlib - skalerbar maskinlæring på Hadoop
- Apache Drill - SQL-motor på Hadoop
- Flume, Sqoop - Data Ingesting Services
- Solr & Lucene - Søgning og indeksering
Karrierevej i Hadoop
I henhold til Stack Overflow Survey 2017-resultater er Hadoop førende inden for de mest populære og mest elskede rammer i Big Data-rummet (Survey Link). Dette er kun muligt, fordi folk fra forskellige it-perspektiv fandt Hadoop en potentiel karrierevej og ønsker at skifte.
Uanset hvad der er din nuværende rolle IT-rolle, vil der være en let tilpasningsbar skifte til en karriere i Hadoop-verdenen. Nogle populære eksempler -
- Software Developer (Programmer) -> Hadoop Data Developer, der beskæftiger sig med forskellige Hadoop abstraktions SDK'er og henter værdi fra data.
- Data Analyst -> Så du er dygtig til SQL. Stor mulighed i Hadoop til at arbejde på SQL-motorer som Hive eller Impala
- Business Analyst -> Organisationer, der prøver at blive mere rentable ved hjælp af massivt indsamlede data, og en rolle for en forretningsanalytiker er afgørende i dette.
- ETL Developer -> Hvis du arbejder som en traditionel ETL-udvikler, kan du nemt skifte til Hadoop ETL ved hjælp af værktøjer som Spark.
- Testere -> Der er en enorm efterspørgsel efter testere i Hadoop-verdenen. Ved at forstå det grundlæggende ved Hadoop og dataprofilering, kan enhver tester skifte til denne rolle.
- BI / DW-erhverv -> Kan let skifte til Hadoop Data-arkivering til Datamodellering.
- Senior IT-fagfolk -> Med en dyb forståelse af domænet og de eksisterende udfordringer i dataverdenen, kan en senior professional blive konsulenter ved at få viden om, hvordan Hadoop forsøger at løse disse udfordringer.
- Der er generiske roller som Data Engineers eller Big Data Engineering, der er ansvarlige for at implementere løsning for det meste oven på Cloud-leverandører. Ved at få viden om datakomponenter i skyen giver, vil dette være en lovende rolle.
Jobstillinger
Hadoop økosystem tilbyder en række karriereveje
- MapReduce Developer - Dette dybest set en Java-udviklerrolle, der også forstår, hvordan Hadoop-systemer fungerer internt. Der er en abstraktion som Hive eller Pig tilgængelig stadig MapReduce-job er nødvendige for højtydende systemer. MapReduce-udviklere er den, der forstår et system ind og ud og betalt virkelig højt.
- Hadoop-administratorer - Dette er personer, der er ansvarlige for at holde Hadoop-klyngen sund og udføre. Dette kan omfatte typiske administratoropgaver som regelmæssige systemsundhedskontroller, men et flertal af de opgaver, der er nødvendige for at forstå Hadoop-systemarkitektur.
- Devops - Distribuer nye systemkomponenter og andre udviklingsrelaterede ændringer i Hadoop-klyngen. Ansvaret for denne rolle varierer meget og afhænger af en organisations kultur.
- Dataudvikler - Databehandling øverst på Hadoop. Dette er en af de mest populære roller i Hadoop-økosystemet. Folk fra SQL eller analytisk baggrund passer bedst til disse roller. Arbejd hovedsagelig med en abstraktion på højt niveau af Hadoop som Hive eller Pig.
- Datasikkerhedsadministrator - Data er de mest værdifulde aktiver, og sikring er vigtigst. Sikkerhedsadministratorer sikrer industristandardpolitikker og bedste praksis til beskyttelse af data med en forståelsesbegrænsning af et system
- Datavisualisator - Håndter næste generations visualiseringsværktøjer, der tillader dynamisk dataskæring og sammenlægning med cache-ind-hukommelse
- ETL Developer - Transformer data til forbedring af datakvalitet eller pr. Forretningslogik ved hjælp af Hadoop økosystemværktøjer. ETL-processen kan være streaming eller batch.
- System Arkitekt - Design højtydende systemer med hensyn til datatilgængelighed og holdbarhed på en omkostningseffektiv måde. Afhænger meget af hardwareudbyderen.
- Data Arkitekt - Bortset fra traditionel logisk / fysisk design af data, vil en masse ting som kolonnekodning, denormalisering, partitionering design osv. Være en dataarkitts ansvar.
Anbefalede kurser
- Online XML og Java-træning
- Node.JS-kurser
- Silverlight Training Course
- Ember.JS-program
Løn
En gennemsnitlig løn for en softwareudvikler i USA er $ 90.956 pr. År, mens den gennemsnitlige løn for Hadoop-udvikler er en måde højere - $ 118.234 pr. År (pr. Faktisk.com - faktisk.com)
Løn for Hadoop-udvikler i topvirksomheder i USA (Ref: faktisk.com)
| Æble | 147.573 $ om året |
| Wipro | 110.553 $ om året |
| HERO.jobs | 158.715 $ om året |
| MBCAA | $ 133.422 om året |
| Ventures Unlimited Inc | $ 130.000 om året |
| Nityo Infotech Services Pvt. Ltd | 128.633 $ om året |
| NORDSTJERNEN | 126.370 $ om året |
| PRI-teknologi | 121.396 $ om året |
| NITYO INFOTECH | $ 116.909 om året |
| HortonWorks, Inc | $ 110.710 om året |
Karriereudsigt
Hadoop økosystem bliver meget forskellige for at imødekomme en ændring i forretningsbehov. Efterhånden som genereret data øges eksponentielt og flere og flere organisationer bliver datadrevne, vil relevansen af Hadoop-systemet kun øges.
Nogle af de bemærkelsesværdige tendenser:
- Skift fra batchbehandling til strømme den første databehandlingsmetode ved hjælp af Spark og Beam
- Mere realtime-maskinlæringsmodel anvendt til realtidsdata ved hjælp af Spark ML
- Frakoblede SQL-motorer fra datalagring som Presto på toppen af S3 til ad-hoc-analyse på toppen af datasøen.
- Columnar MPP-databaser som AWS Redshift for hurtig datatilgang
Da et grundlæggende aspekt af Big Data-behandling ligger på fejltolerante distribuerede og horisontalt skalerbare systemer, som er godt implementeret af Hadoop, vil Hadoop fortsætte som et førende økosystem til databehandling.
Anbefalet artikel
Dette har været en guide til karriere i Hadoop. Her har vi diskuteret Introduktion, Uddannelse, Karrierevej i Hadoop, Løn og Karriereudsigter i Hadoop. kan du også se på den følgende artikel for at lære mere -
- Azure Paas vs Iaas og deres nyttige fordele
- Find forskellene mellem Java vs Node JS
- Bedste ekspertrådgivning inden for karriere i Mainframe
- Karrierer i SQL
- Nyttige karrierer som softwareingeniør
- Hadoop Administrator | Færdigheder & karrierevej