Oversigt over gnistkomponenter
Forestil dig, at du har 1000 opgaver til rådighed og meget lidt tid til at afslutte dem alle. En person tilbyder dig hjælp ved at give ressourcer, der kan tage nogle opgaver af hånden og udføre dem parallelt med dig, så alle opgaver bliver afsluttet til tiden. At nogen er gnist for dig i en regneark forstand. Apache Spark er en open source og distribueret klyngeregistreringsramme til Big Data og giver en optimeret tilgang til udførelse af analyser på store datasæt. Det fungerer 100 gange hurtigere end Hadoop og leverer forskellige biblioteker til forskellige formål som udførelse af SQL-operationer, ML, streaming, grafbehandling osv. Nedenfor ser vi de forskellige gnistkomponenter i detaljer.
Topkomponenter i gnist
I øjeblikket har vi 6 komponenter i Spark Ecosystem, som er Spark Core, Spark SQL, Spark Streaming, Spark MLlib, Spark GraphX og SparkR. Lad os se, hvad hver af disse komponenter gør.
1. Gnistkerne
Spark Core er, som navnet antyder, kerneenheden i en Spark-proces. Det tager sig af opgaveplanlægning, fejlgendannelse, hukommelsesstyring og input-output operationer osv. Tænk på det som noget, der ligner CPU til en computer. Det understøtter programmeringssprog som Java, Scala, Python og R og giver API'er til respektive sprog, som du kan opbygge dit ETL-job eller gøre analyse. Alle de andre komponenter i Spark har deres egne API'er, der er bygget oven på Spark Core. På grund af dens parallelle behandlingsfunktioner og beregning i hukommelsen kan Spark håndtere enhver form for arbejdsbyrde.
Spark Core leveres med en speciel slags datastruktur kaldet RDD (Resilient Distribueret Datasæt), der distribuerer dataene på tværs af alle noder i en klynge. RDD'er arbejder på et Lazy evalueringsparadigme, hvor beregningen er gemt og kun udføres, når det er nødvendigt. Dette hjælper med at optimere processen ved kun at beregne de nødvendige objekter.
2. Spark SQL
Hvis du har arbejdet med databaser, forstår du vigtigheden af SQL. Ville det ikke være ekstremt overvældende, hvis den samme SQL-kode fungerer N gange hurtigere, selv på et større datasæt? Spark SQL hjælper dig med at manipulere data om Spark vha. SQL. Det understøtter JDBC- og ODBC-forbindelser, der skaber en forbindelse mellem Java-objekter og eksisterende databaser, datalager og business intelligence-værktøjer. Spark indeholder noget, der hedder Dataframes, som er struktureret indsamling af data i form af kolonner og rækker.
Spark giver dig mulighed for at arbejde på disse data med SQL. Dataframes svarer til relationstabeller, og de kan konstrueres fra alle eksterne databaser, strukturerede filer eller allerede eksisterende RDD'er. Dataframes har alle funktioner i RDD, såsom uforanderlig, elastisk, i hukommelsen, men med en ekstra funktion til at være struktureret og let at arbejde med. Dataframe API er også tilgængelig i Scala, Python, R og Java.
3. Gniststreaming
Datastreaming er en teknik, hvor en kontinuerlig strøm af realtidsdata behandles. Det kræver en ramme, der tilbyder lav latenstid til analyse. Spark Streaming giver det og også et højt gennemløb, fejltolerant og skalerbart API til behandling af data i realtid. Det abstraheres på den diskretiserede strøm (DStream), der repræsenterer en strøm af data opdelt i små batches. DStream er bygget på RDD, hvorved Spark Streaming fungerer problemfrit med andre gnistkomponenter. Nogle af de mest bemærkelsesværdige brugere af Spark.
Streaming er Netflix, Pinterest og Uber. Spark Streaming kan integreres med Apache Kafka, som er en afkoblings- og bufferingsplatform til input streams. Kafka fungerer som det centrale knudepunkt for realtidsstrømme, der behandles ved hjælp af algoritmer i gniststreaming.
4. Spark MLLib
Sparks største attraktion er at opskalere beregningen massivt, og denne funktion er det vigtigste krav til ethvert maskinlæringsprojekt. Spark MLLib er maskinlæringskomponenten i Spark, der indeholder maskinlæringsalgoritmer såsom klassificering, regression, klynger og samarbejdsfiltrering. Det tilbyder også et sted til ekstraktion af funktioner, reduktion af dimensionalitet, transformation osv.
Du kan også gemme dine modeller og køre dem på større datasæt uden at skulle bekymre dig om størrelsesproblemer. Det indeholder også værktøjer til lineær algebra, statistik og datahåndtering. På grund af Sparks behandling i hukommelsen, fejltolerance, skalerbarhed og let programmering kan du ved hjælp af dette bibliotek køre iterative ML-algoritmer let.
5. GraphX
Graph Analytics bestemmer dybest set forholdet mellem objekter i en graf, for eksempel den korteste afstand mellem to punkter. Dette hjælper er ruteoptimering. Spark GraphX API hjælper med grafen og graf-parallel beregningen. Det forenkler grafanalyse og gør det hurtigere og mere pålideligt. En af de vigtigste og velkendte applikationer af grafanalyse er Google Maps.
Den finder afstanden mellem to placeringer og giver et optimalt ruteforslag. Et andet eksempel kan være Facebook-vennens forslag. GraphX fungerer med både grafer og beregninger. Spark tilbyder en række grafalgoritmer som siderangering, tilsluttede komponenter, etiketudbredelse, SVD ++, stærkt forbundne komponenter og trekantælling.
6. SparkR
R er det mest anvendte statistiske sprog, der omfatter mere end 10.000 pakker til forskellige formål. Det brugte datarammer API, hvilket gør det praktisk at arbejde med og giver også kraftfulde visualiseringer for dataforskerne til at analysere deres data grundigt. R understøtter imidlertid ikke parallel behandling og er begrænset til den mængde hukommelse, der er tilgængelig i en enkelt maskine. Det er her SparkR kommer ind i billedet.
Spark udviklede en pakke kendt som SparkR, som løser skalerbarhedsproblemet med R. Den er baseret på distribuerede datarammer og giver også den samme syntaks som R. Sparks distribuerede behandlingsmotor og R's uovertrufne interaktivitet, pakker, visualisering kombineres sammen for at give Data Scientists hvad de vil have til deres analyser.
Konklusion
Da Spark er en generel ramme, befinder den sig i en lang række applikationer. Spark bruges i vid udstrækning i de fleste big data applikationer på grund af dens ydeevne og pålidelighed. Alle disse komponenter i Spark bliver opdateret med nye funktioner i hver nye udgivelse og gør vores liv lettere.
Anbefalede artikler
Dette er en guide til gnistkomponenter. Her diskuterer vi oversigten og top 6-komponenterne i gnister med en detaljeret forklaring. Du kan også se på de følgende artikler for at lære mere -
- Top 5 vigtige bikubalternativer
- Talend Open Studio Components / Tools
- Top 6 komponenter i IoT økosystem
- Hvad er Talend Data Integration med fordele?