Forskellen mellem Apache Pig og Apache Hive
Historien om Apache Pig begynder i 2006, da forskeren som Yahoo kæmpede med MapReduce Java-koder. Det var vanskeligt at genbruge og vedligeholde kode til kompilering. På samme tid observerede de, at MapReduce-brugere ikke var tilpas med deklarative sprog som SQL. De begyndte at arbejde på et nyt sprog, der skulle passe på et sødt sted mellem den erklærende stil med SQL, lavt niveau og proceduremæssig stil i MapReduce. Dette resulterede i fødslen af gris, og den første frigivelse af svin kom i september 2008, og ved udgangen af 2009 var omkring halvdelen af jobbet hos Yahoo svinjob.
Apache Hive-historien begynder i 2007, hvor ikke-Java-programmerer er nødt til at kæmpe, mens de bruger Hadoop MapReduce. IT-professionel fra databasebaggrund stod overfor udfordringer med at arbejde på Hadoop Cluster. Oprindeligt kom forskere, der arbejdede på Facebook, med Hive-sprog. Dette sprog svarede meget til SQL-sprog. Så sprog blev kaldt Hive Query Language (HQL) og senere bliver det projekt med open source Apache Community. Efter at have været projekt med Apache Community var der en større udvikling i Apache Hive. Facebook var det første firma, der kom med Apache Hive.
Lad mig forklare mere om Apache Pig vs Apache Hive.
Introduktion af Apache Pig vs Apache Hive
Apache Pig er en platform til analyse af store datasæt, der består af et højt niveau sprog til at udtrykke dataanalyseprogrammer, kombineret med infrastruktur til evaluering af disse programmer. Apache er open source-projekt for Apache Community. Apache Pig giver et enkelt sprog kaldet Pig Latin til forespørgsler og datamanipulation.
Svin bruges af virksomheder som Yahoo, Google og Microsoft til at indsamle enorme mængder datasæt i form af klikstrømme, søge-logfiler og webcrawl.
- Apache Pig leverer indlejrede datatyper som kort, tuples og tasker
- Apache Pig følger fremgangsmåden med flere forespørgsler for at undgå flere scanninger af datasættene.
- Programmerere, der kender scriptsprog, foretrækker Apache Pig
- Gris er let, hvis du er godt opmærksom på SQL
- Ingen grund til at oprette skema for at arbejde med Apache Pig
- Gris giver også support til større datafunktioner som bestilling, filtre og sammenføjninger
- Apache Pig framework oversætter Gris Latin til sekvenser af MapReduce-programmer
Apache Hive datalager-software letter læsning, skrivning og styring af store datasæt, der er bosiddende i distribueret lagring ved hjælp af SQL. Apache Hive er et Apache open-source-projekt bygget oven på Hadoop til forespørgsel, opsummering og analyse af store datasæt ved hjælp af en SQL-lignende interface. Apache hive leverer det SQL-lignende sprog kaldet HiveQL, som transparent konverterer forespørgsler til MapReduce til udførelse på store datasæt, der er gemt i Hadoop Distribueret filsystem (HDFS).
- Apache Hive er et datalagerinfrastruktur.
- Apache Hive er et ETL-værktøj (Extract-Transformation-Loading)
- Apachehive svarer til SQL
- Apache Hive muliggør tilpassede kortlæggere og reduktionsmaskiner
- Apache Hive øger skemaets designfleksibilitet ved hjælp af dataserialisering og deserialisering
- Apache hive er et analytisk værktøj
Sammenligning mellem hoved og hoved mellem Apache Pig vs Apache Hive (Infographics):
Vigtige forskelle mellem Apache Pig vs Apache Hive:
- Apache Pig sammenligner hurtigere Apache Hive
- Apache Pig og Apache Hive kører begge oven på Hadoop MapReduce
- Apache Pig er bedst til struktureret og semistruktureret, mens Apache Hive er bedst til strukturerede data
- Apache Pig er et proceduresprog, mens Apache Hive er et deklarativt sprog
- Apache Pig understøtter cogroup-funktion til ydre sammenføjninger, mens Apache Hive ikke understøtter
- Apache Pig har ikke en foruddefineret database til lagring af tabel / skema, mens Apache Hive har foruddefinerede tabeller / skema og gemmer dens oplysninger i en database.
- Apache Pig er også velegnet til kompleks og indlejret datastruktur, mens Apache Hive er mindre velegnet til komplekse data
- Forskere og programmerere bruger Apache-svin, mens Data Analysts bruger Apache Hive
Hvornår skal du bruge Apache Pig:
- Når du er programmør og kender scriptsprog
- Når du ikke ønsker at oprette skema under indlæsning
- ETL-krav
- Når du arbejder på klientsiden af Hadoop-klyngen
- Når du arbejder på Avro Hadoop-filformat
Hvornår skal du bruge Apache Hive:
- Krav til datalagring
- Analytiske forespørgsler om historiske data
- Dataanalyse, der er bekendt med SQL
- Mens jeg arbejder på strukturerede data
- Af dataanalytikere
- At visualisere og oprette rapporter
Apache Pig vs Apache Hive Sammenligningstabel
Jeg diskuterer større artefakter og skelner mellem Apache Pig og Apache Hive.
| Apache-gris | Apache Hive | |
| Databehandling | Apache Pig er sprog på højt niveau for dataflow | Apache Hive bruges til batchbehandling, dvs. Online Analytical Processing (OLAP) |
| Behandlingshastighed | Apache Pig har højere latenstid på grund af at udføre MapReduce-job i baggrunden | Apache Hive har også højere latenstid på grund af at udføre MapReduce-job i baggrunden |
| Kompatibilitet med Hadoop | Apache Pig kører oven på MapReduce | Apache Hive kører også oven på MapReduce |
| Definition | Apache Pig er open source, højt niveau datastrømningssystem, der gør dig til en simpel sprogplatform korrekt kendt som Pig Latin, der kan bruges til at manipulere data og forespørgsler. | Apache Hive er open source og ligner SQL brugt til analytiske forespørgsler |
| Brugt sprog | Apache Pig bruger proceduremæssigt dataflow-sprog kaldet Pig Latin | Apache Hive bruger et deklarativt sprog kaldet HiveQL |
| Schema | Apache Pig har ikke et skemabegreb. Du kan gemme data i et alias. | Apache hive understøtter skema til indsættelse af data i tabeller |
| Webgrænseflade | Apache Pig understøtter ikke webgrænseflade | Apache Hive understøtter webgrænseflade |
| operationer | Apache Pig bruges til strukturerede og semistrukturerede data | Apache Hive bruges til strukturerede data. |
| Brugerspecifikation | Apache Pig bruges af forskere og programmerere | Apache Hive bruges af Data Analyst |
| Arbejder på | Apache Pig fungerer på klientsiden af klyngen | Apache-hive Opererer på serversiden af klyngen |
| Partitionsmetoder | Der er ikke noget begreb om partition i Apache Pig | Apache Hive understøtter afskærmningsfunktioner |
| Filformat | Apache Pig Understøtter Avro-filformat | Apache hive understøtter direkte ikke Avro-format, men kan understøtte at bruge “org.apache.hadoop.hive.serde2.avro” |
| JDBC / ODBC | Apache Pig understøtter ikke | Apache-bikub understøtter, men begrænset |
| Fejlfinding | Det er let at fejlsøge svin-scripts | Vi kan fejlsøge, men det er lidt kompliceret |
Konklusion - Mellem Apache Pig vs Apache Hive:
Apache Pig og Apache Hive, begge bruges ofte i Hadoop-klyngen. Både Apache Pig og Apache Hive er et kraftfuldt værktøj til dataanalyse og ETL. Apache Pig og Apache Hive bruges mest i produktionsmiljøet. En bruger skal vælge et værktøj baseret på datatyper og forventet output. Begge værktøjer giver en unik måde at analysere Big Data på Hadoop-klyngen. Baseret på ovenstående diskussion kan brugeren vælge mellem Apache Pig og Apache Hive til deres krav.
Anbefalet artikel
Dette har været en guide til Apache Pig vs Apache Hive, deres betydning, sammenligning mellem hoved og hoved, nøgleforskelle, sammenligningstabel og konklusion. Du kan også se på de følgende artikler for at lære mere -
- Hadoop-udviklerinterview Spørgsmål
- Hadoop vs Hive
- Hvordan knækker Hadoop-udviklerintervjuet?
- Apache Hive vs Apache HBase
- Apache Hadoop vs Apache Spark