Big Data-teknikker: sammenflydelse af teknologi og forretningsanalyse
Confluence of Technology & Business analytics -
For længe, for længe siden mænd fører et nomadisk liv, før de gradvist vender sig mod landbrug. Opfindelsen af hjul, ild og dampmotor betragtes ofte som vendepunkter i udviklingen af menneskeheden mod mekanisering og øget livskomfort.
Ligeledes har den legendariske Newtons lov om bevægelse og tyngdekraft, Einsteins relativitetsteori, der nu fejrer sit 100. år eller termodynamikloven alle revolutioneret videnskab og påvirket anvendt videnskab. Opfindelsen af computeren, ankomsten af den personlige computer og grafisk brugergrænseflade (GUI) er alle milepæle i udviklingen i den digitale æra. Det var nulerne i binære tal og dem, der er kernen i sprog på samlingsniveau.
Binær til Big Data-teknikker
På hardwareniveau driver nuller og enheder kredsløbene i en computer, på forretningsniveau er det Big Data-teknikkerne, der skaber en ændring i havet i, hvordan virksomheder udvikler markedsføringsstrategier for at forblive konkurrencedygtige. Det kan være sammensat af alt fra enkeltcifre og flere cifre, der alle indeholder vigtige oplysninger om markedet, funktionen af en maskine, menneskelig krop, transaktioner med e-handel eller næsten enhver daglig aktivitet, der måske eller måske ikke har noget at gøre med at købe eller sælge.
Det er almindeligt for virksomheder og regnskabsfolk at tale om aktiver og passiver. Konventionelle aktiver betegner maskiner, teknologi, know-how, menneskelige ressourcer, infrastruktur og også finansielle aktiver.
Nu sker der et paradigmeskifte, sammen med disse materielle aktiver, er nogle stykker enkelt- og flere cifre eller data blevet det mest uvurderlige aktiv, når organisationer og markeder vokser i størrelse. Fra marketing synspunkt og big data strategi synspunkt er data blevet det vigtigste aktiv.
Virksomheder vokser i størrelse og skala. Ikke længere er lille smuk eller levedygtig. Drift af flere lande, store indkøbscentre og store mængder e-handelsvirksomheder har sat en ny tendens over hele kloden. For at få succes med denne big business-data og dataanalyse er det blevet kritisk. Virksomheder kæmper efter Big Data Hadoop for at udnytte det til at få markedsundervisning og forstå kundens krav.
Sammenløbet af teknologi og dataanalyse
Billedkilde: pixabay.com
Store datateknikker, som organisationer har, vil være meningsløse, medmindre der er en understøttende teknologi til at udnytte data, behandle og organisere dem for virksomheder at gøre brug af dette vigtige aktiv. Bernard Marr, den kendte forfatter og analytiker har sagt, at virksomheder uanset deres størrelse, hvad enten det er et Fortune 500-firma eller en lille mor og pop-butik ville kræve brugen af Hadoop Big Data, som vidner om den ændring, det bringer for virksomhederne.
Big datateknikker er en samling af store datasæt, og de er i stort antal, som sofistikerede programmer er nødvendige for at analysere og skabe meningsfuld information fra dem. Det kan være købsvaner, hyppigheden af at gå til film, loginfrekvenswebsteder, online køb, bestilling af dagligvarer, hyppigheden af at skifte mobile håndsæt og så videre.
Forskellige værktøjer, rammer og teknikker bruges til at analysere store datasæt, og de er blevet meget efterspurgt af branchen. Ifølge eksperter er det ikke de data, der er vigtige, men hvad virksomheden gør med disse data.
Blandt forskellige teknologier og platforme er Hadoop fremkommet som den mest populære, selvom det kan have sine ulemper. Det er en open source-udviklingsplatform, der er skrevet på C, C ++, Java og hjælper organisationer med at analysere den enorme mængde data i realtid.
Big datateknikker i realtid
Indsamling, opbevaring, flytning og analyse er ikke en statisk aktivitet, men også en dynamisk aktivitet, der involverer realtidsmiljøer. Der indsamles kontinuerligt data til fly, bilmotorer, skærme, der er forbundet med patienter på hospitaler, online kredit- eller betalingskorttransaktioner, som alle kræver sofistikerede algoritmer, programmer, big data-arkitektur og en robust processor til hukommelse.
John Schroeder, administrerende direktør for MapR sagde, at de har Big Data-applikationer, der beskytter millioner af American Express-kortholdere mod svigagtige transaktioner, og i sundhedsvæsenet arbejder de for at give forbedrede behandlingsprocedurer for kræftpatienter.
Globale it-majors som Microsoft, Oracle, SAP, IBM er alle på cloud-platformen og muliggør også løsninger på big data-teknikker.
Big Data-teknikker og Internet of Things
Hurtige ændringer i web og indlejret teknologi har gjort det muligt at sammenkæde en række enheder med hinanden, som er i stand til at sende data i realtid. Et internet lavet af 'ting' snarere end mennesker og computere er opstået.
Hver enhed, vi bruger eller bruger, er i stand til at afslutte data, som igen ville have omfattende applikationer inden for big data marketing, design, sundhedsydelser.
Datamining
Nu er magtfulde supercomputere implementeret til at udnytte data fra relationelle databaser og hjælpe statistikere og analytikere med at oprette modeller. Flere innovatører er kommet med værktøjer til at udvikle modeller til forudsigelig big data-analyse til bedre beslutningstagning fra virksomheder. De giver også en let grafisk brugergrænseflade (GUI) og er meget brugervenlige.
Karrieren inden for Big Data-teknikker
Naturligvis har revolutionen inden for big data-teknikker givet en helt ny race af eksperter, der er knyttet til specifikke områder af denne big data-analyse og teknologi. Blandt de tekniske efterspørgsler inden for teknologi er Apache Hadoop, Apache Spark, NoSQL, maskinindlæring og data mining, statistisk og kvantitativ analyse, SQL, datavisualisering, datavidenskabere, programmeringssprogfærdigheder til generelle formål. Ifølge analytikere vil mulighederne antages at stige i det næste årti takket være den hurtige udvikling på dette område.
Der er faktisk en enorm efterspørgsel efter stor datateknisk relateret ekspertise i 2015, hvor IBM havde annonceret 2.307 positioner i de sidste tolv måneder i juni, sagde Forbes magasin i en midtvejsevaluering. Den annoncerede løn for tekniske fagfolk med Big data-uddannelse er $ 104.850. De mest efterspurgte færdigheder var VMWare-ekspertise, applikationsudvikling, open source-teknologi, datalagring og Python-programmeringsevner.
Industrielt er topper, der benytter Big Data-teknikker og -tjenester, professionelle, videnskabelige og tekniske tjenester, der tegner sig for 25% af efterspørgslen. Blandt andre førende kategorier udgør informationsteknologi 17%, fremstilling 15%, finans og forsikring 9% og detailhandel 8%.
Fordele ved Big Data-analyse
1) Opbevaring, minedrift og analyse af data:
Store datateknologier har gjort det muligt at implementere både lagrede og realtidsdata til en række forretnings- og missionskritiske applikationer
2) Markedsforudsigelse og prognose:
I æraen før big-datateknikker blev virksomhederne begrænset til at foretage meningsfuld dataanalyse i realtid eller foretage forudsigelig analyse i mangel af teknologi. Eksempelundersøgelser og tilbagemeldinger fra kunder tilbød den eneste løsning for strateger til at innovere med nye tilbud til markedet.
3) En stor mængde data genereres af virksomheder, og i de foregående år med utilstrækkelige big data-værktøjer til at indsamle og analysere dem mislykkedes virksomhederne med at bruge et vigtigt aktiv med dem.
4) I realtid big data-forretningsmiljø, hacking og datatyveri kan kritisk påvirke arbejdet i en organisation, kundernes tillid og gøre det sårbart over for yderligere angreb ned ad linjen. Big data og Hadoop har vist sig at hjælpe organisationer med at opdage datatyveri. Datatyveri-metodologier udvikler sig hurtigere end tyverisikringsmetodologier eller -forebyggelsesaktiviteter.
Er Big datateknikker det eneste krav for at få succes
Hype skabt af big data er ikke gået godt med nogle kritikere, der påpeger nogle af de problemer, der er forbundet med dens implementering i industrien. Nogle analytikere har stillet spørgsmålstegn ved, om der er et positivt investeringsafkast (ROI), og det er værd at bruge tid og kræfter på at implementere det i første omgang. Det andet er med hensyn til den store mængde data og analyse, der muligvis ikke forklarer 'hvorfor' sådan forbrugers adfærd finder sted.
Big data-analyse kan effektivt bruges i forbindelse med traditionelle undersøgelsesmetoder (tykke data), der kortlægger de demografiske mønstre i opsparing, investering, købs- og forbrugsadfærd på tværs af regioner, der giver en bredere forståelse af markedet. Big Data-værktøjer giver muligvis et billede af, hvad der skete og hvordan, men 'hvorfor' det sker kan kun forstås ved en bred forståelse af de bestemte forbrugere eller regioner baseret på demografisk profil, livsstilspræferencer, forbrugsvaner blandt andre ifølge skeptikere til Big Dataværktøjer.
Store tendenser inden for Big Data-teknologi
Ifølge John Schroeder, administrerende direktør og medstifter af MapR, havde virksomheden, der leverer løsninger på Big Data, forudsagt de nye tendenser for 2015, og de fleste af dem har vist sig at være sandt.
Datahubber til datasøer: Datasøer med skalerbar infrastruktur ser ud til at blive foretrukket, da de er økonomisk attraktive med en reduceret omkostning pr. Terabyte).
Selvbetjening: Selvbetjenende big data-værktøjer vil give udviklere, dataforskere og dataanalytikere mulighed for at udføre dataudforskning direkte.
Data Agility
Når databasen udvides, og hurtigere behandling kræves, ser det ud til, at ældre systemer bremser processen. Ældre databaser og lagre har vist sig at være for langsomme, og derfor ser organisationer på, hvor agile deres databehandling er.
Hadoop i innovationsfase: Hadoop forbliver i innovationsfasen, og Shroeder mener, at der muligvis finder sted en mere nuanceret model af open source-software kombineret med dyb innovation og samfundsudvikling.
Sikkerhedsudfordring
Store datalagring og -behandling bliver nu mere og mere sårbare over for sikkerhedstrusler i open source Hadoop-systemet. Sikkerhedsfunktionerne matcher dog stadig sådanne trusler og især i sammenligning med mere sikre Enterprise Resource Planning (ERP) systemer og relationelle databaser.
Skyen
De hurtige fremskridt inden for cloud computing gør det muligt for selv små og mellemstore virksomheder at gøre brug af SaaS (software som en tjeneste), Platform as a Service (PaaS) og andre platforme leveret af leverandører, der gør det muligt for dem at bruge store datatjenester på en meget billigere omkostninger, hvor kostbare licensgebyrer og installationer ikke kræves.
Ifølge Bernard Marr, berømt forfatter og analytiker, er sofistikerede algoritmer implementeret i skyrummet gennem SaaS, der giver et mere præcist billede af hvornår, hvordan og hvorfor et produkt sælges. Han citerede Charlie Crocker fra AutoDesk og påpeger, at indtil ankomsten af Big Data-kunderefeedback var en vanskelig øvelse, men med de sofistikerede algoritmer, der nu er på arbejde, er big data-virksomheder bedre i stand til at forstå forbrugernes adfærd og skabe produkter til dem.
Fremtiden for Big Data-værktøjer er lys
International Data Corp forudser, at store datamarkeder vil vokse med en sammensat årlig vækstrate på 23% gennem 2019 med årlige udgifter til at nå $ 48, 6 mia. I 2019. IDC mener, at de tre store undermarkeder: infrastruktur, software og tjenester vil vokse markant i løbet af de næste fem år med software - informationsstyring, opdagelse og analyse og applikationssoftware, der fører gebyret med en CAGR på 26%.
IDC forudsiger, at tjenester, herunder professionelle og supporttjenester til infrastruktur og software, vil vokse til en CAGR på 22, 7 procent. Det forudsiger, at infrastruktur - bestående af computing, netværk, lagringsinfrastruktur og anden datacenterinfrastrukturlignende sikkerhed - vil vokse til en CAGR på 21, 7 procent og vil tegne sig for omtrent halvdelen af alt forbrug gennem 2019.
”Evnen til at udnytte big data og analyser til at udvikle et integreret overblik over kundeaktiviteter og forretningsdrift vil give konkurrencedygtig differentiering til virksomheder på tværs af brancher, ” sagde Jessica, Goepfert, programdirektør for IDCs Global Technology and Industry Research Organisation. ”Ud over de enorme muligheder udgør big data dog nogle betydelige risici og
Digital transformation (DX) vil drive “alt, hvad der betyder noget i IT” i de næste flere år. At lykkes med det, som IDC kalder DX-økonomien, betyder at bruge teknologier som mobil, sky, big data-analyseværktøjer, IoT, AI og robotik for at “skabe konkurrencefordel gennem nye tilbud, nye forretningsmodeller og nye kunde-, leverandør- og distributørforhold, ”Ifølge Frank Gens, IDCs chefanalytiker.
Key takeaways fra IDCs forudsigelser
- I 2020 bindes næsten 50% af it-budgetterne til DX-initiativer (digital transformation).
- I 2018 vil Line of Business (LOB) ledere kontrollere 45% + af al it-udgifter over hele verden, over 60% i USA
- I 2017 vil over 50% af IT-udgifterne være til nye teknologier (mobil, sky, big data-værktøjer osv.).
- Selv med teknologier og platforme, der hurtigt udvikler sig, er det tvivlsomt, om alle de tilgængelige data analyseres, eller det ville være påkrævet, sagde nogle eksperter. Det, der er vigtigt, er, om de relevante data identificeres og analyseres til fordel for interessenterne.
Anbefalede artikler
Her er nogle artikler, der hjælper dig med at få flere detaljer om big data-teknikkerne, så bare gå gennem linket.
- 8 Mest nyttige vejledning til Big Data-interviewspørgsmål
- Hvorfor innovation er det mest kritiske aspekt af Big Data?
- Top 5 tendenser for big data, som virksomhederne bliver nødt til at mestre
- Hvad er NOSQL-færdigheder Hjælp med at opbygge en karriere inden for Big Data
- Vejledning til introduktion til datamining