Introduktion til Big Data Analytics-software
Big data er buzzword. Det er det mest foretrukne og meget efterspurgte job. I dag skal vi i denne Big Data analytics-softwareartikel tale om, hvad big data er, hvorfor det er vigtigt, hvordan det gøres, og vigtigst af alt skal vi fokusere på, hvilke værktøjer og software, der er tilgængelige på markedet til at udføre big data-analyse.
Big data er det navn, der gives til data, som virkelig er enorm i størrelse. Typisk kaldes data i størrelsen på mere end et par terabyte big data. Du kan forstå big data som de POS-maskingenererede data af Walmarts forskellige butik over hele verden på en dag eller over en uge. Der er fire karakteristiske træk ved big data: - Høj lydstyrke, høj hastighed, høj variation og høj veracitet. Hvad det betyder er, at de data, der er af enorm størrelse, genereres i en høj hastighed og indeholder en masse interne variationer med hensyn til datatype, dataformat osv. Kan klassificeres som big data.
Big data kaldes også distribueret computing.
Da der genereres enorme data hver dag, og der er et enormt potentiale for indsigt, der kan udvindes fra sådanne data for at få forretningsværdi, vokser omfanget af big data, og det er derfor så meget efterspurgt.
Vigtige begreber med Big Data Analytics-software
Hvordan man håndterer og behandler big data er et almindeligt spørgsmål. Dette forekommer i tankerne hos unge fagfolk, der ønsker at begynde at lære store datateknologier såvel som senior VP og teknikdirektør for store virksomheder, der ønsker at analysere potentialet i big data og implementere det samme i deres organisation.
Datainjektion, datalagring, behandling og generering af indsigt er den sædvanlige arbejdsgang i big data-rummet. Første data indsprøjtes fra kildesystemet til big data-økosystem (Hadoop for eksempel), og det samme kan gøres via et datainjektionssystem som AVRO eller Scoop. Derefter skal de injicerede data lagres et sted, HDFS er det, der bruges til det mest almindelige. Forarbejdning kan udføres via Pig eller Hive, og analyse og indsigt generering kan udføres af Spark. Men bortset fra dette er der flere andre komponenter i Hadoop-økosystemet, der giver en eller anden vigtig funktionalitet.
En hel Hadoop-ramme leveres af mange distributører som Cloudera, Horton-arbejde, IBM, Amazon osv.
Apache Hadoop er den mest almindelige platform for Hadoop. Hadoop er samlingen af open source-softwareprogrammer. Det løser problemer, der involverer håndtering og behandling af en enorm mængde data gennem et netværk af computere kaldet klynger.
Hadoop-applikationer køres ved hjælp af MapReduce-paradigmet. I MapReduce behandles dataene på forskellige CPU-noder parallelt. Hadoop-rammer kan udvikle applikationer, der kører på klynger af computere og er yderst fejltolerante.
Hadoop arkitektur har fire moduler: -
1. Hadoop fælles: -
- Java-biblioteker og værktøjer, der kræves af andre Hadoop-moduler
- leverer abstraktioner af filsystem og OS-niveau
- indeholder de vigtige Java-filer og scripts, der er nødvendige for at starte og køre Hadoop.
2. Hadoop YARN:
- rammer for jobplanlægning
- klynge ressourcestyring.
3. Hadoop Distribueret filsystem (HDFS):
- giver adgang til høj kapacitet til applikationsdata.
4. Hadoop MapReduce:
- YARN-baseret system til parallel behandling af store datasæt.
Følgende er få Big Data Analytics-software: -
- Amazon Web Services: - Sandsynligvis den mest populære Big data platform, AWS er super cool. Det er skybaseret og leverer datalagring, computerkraft, databaser, analyse, netværk osv. Disse tjenester reducerer driftsomkostninger, hurtigere udførelse og større skalerbarhed.
- Microsoft Azure: - Azure er fantastisk til at forbedre produktiviteten. Integrerede værktøjer og forudbyggede skabeloner gør alt enkelt og hurtigt. Det understøtter et spektrum af operativsystemer, programmeringssprog, rammer og værktøjer.
- Horton arbejder dataplatform: - Baseret på open source Apache Hadoop, det er tillid til af alle og giver en centraliseret YARN. Det er state-of-art-system, der leverer et alsidigt programvaresortiment.
- Cloudera Enterprise: - Det er drevet af Apache Hadoop. Fra analyse til datavidenskab kan det gøre alt under et sikkert og skalerbart miljø og giver ubegrænsede muligheder.
- MongoDB: - Det er den næste generations database baseret på NoSQL-format. Den bruger en dokumentdatamodel, der ligner JSON.
Eksempler på Big Data Analytics-software
I dette afsnit leverer vi en bred vifte af Big data Analytics-software.
|
Liste over Big Data Analytics-software |
|||
| Arcadia Data | Actian Analytics-platform | FICO big data analysator | Syncsort |
| Amazon webservices | Google Bigdata | Palantir BigData | Splunk Big data analytics |
| Google Big Query | Datameer | Oracle Bigdata Analytics | VMWare |
| Microsoft Azure | IBM Big Data | DataTorrent | Pentaho Bigdata Analytics |
| Blue Talon | Wavefront | Qubole | MongoDB |
| Informatica power center bigdata-udgave | Cloudera Enterprise Big data | MapR konvergeret dataplatform | BigObject |
| GoodData | Opera-løsninger signal hub | HortonWork dataplatform | SAP Big Data Analytics |
| Næste vej | CSC big data platform | Kognito analytisk platform | 1010data |
| GE Industrielt internet | DataStax Bigdata | SGI Bigdata | Teradata Bigdata-analyse |
| Intel Bigdata | guavabær | HP Big Data | Dell Big data Analytics |
| Pivotal Bigdata | Mu Sigma Big Data | Cisco Bigdata | MicroStrategy Bigdata |
Konklusion - Big Data Analytics-software
Fra oven kan vi forstå, at der er en bred vifte af tilgængelige værktøjer og teknologi inden for big data-analyse. Et punkt, der skal huskes, at nogle af de teknologier, der er nævnt ovenfor, er anstændighed og dermed kun tilgængelige efter et abonnement, mens nogle andre er open source og dermed helt gratis. For AWS skal for eksempel et abonnement tages, hvor betaling debiteres til en timesats. Cloudera og Horton arbejde er derimod gratis. Derfor skal man vælge klogt, hvilke værktøjer eller teknologi man skal vælge. Normalt er en betalt, licenseret software god til at udvikle software på virksomhedsniveau, da det leveres med en support- og vedligeholdelsesgaranti, og der er derfor ingen sidste overraskelser, mens open source er god til læring og indledende udviklingsformål. Det betyder dog ikke, at open source-teknologier ikke er beregnet til produktudvikling af software-software, i disse dage er masser af masser af software bygget ved hjælp af open source-teknologier.
Anbefalede artikler
Dette har været en guide til begreber om Big Data Analytics-software. Her har vi diskuteret forskellige Big Data Analytics-software som Amazon Web-tjenester, Microsoft Azure, Cloudera Enterprise osv. Du kan også se på følgende artikel for at lære mere -
- Big Data Analytics-værktøjer
- 5 Udfordringer og løsninger med Big Data Analytics
- Big Data-teknikker
- Er Big Data en database?