Introduktion til Data Science Machine Learning
Data er dybest set information, især fakta eller tal, indsamlet til at blive undersøgt og overvejet og brugt til at hjælpe med at tage beslutningstagning eller information i en elektronisk form, der kan gemmes og bruges af en computer. Nu lærer vi definitionen af Data Science and Machine Learning.
Data Science (DS) : Det er et meget bredt felt, hvor forskellige teknikker som statistiske metoder, videnskabelige tilgange, arkitektoniske processer, forskellige algoritmer bruges til at udtrække indsigtsfulde oplysninger fra tilgængelige data, som enten kan være strukturerede data eller ustrukturerede data.
Machine Learning ( ML ): Det er en undergruppe af Data Science. I maskinlæring grundlæggende med hjælp af statistiske modeller og forskellige algoritmer trænes maskiner uden at give eksplicitte instruktioner, det er afhængigt af mønstre oprettet med data. ”
Betydningen af datavidenskab
- Vi lever i en tidsalder af teknologi, hvor hver person på en eller anden måde bruger teknologi til komfort / effektivitet / lethed, f.eks. Mobiltelefon / Laptops / tabletter til kommunikation, biler / tog / busser / fly til transport, tjenester som bank / elektricitet og mange flere for at lette livet.
- Ved hver sådan lejlighed skaber vi data bevidst eller ubevidst som opkaldslogger / tekster / sociale medier - billeder / videoer / blogs er alle en del af data, med transport af vores navigation til forskellige placeringer med GPS / ydelse af køretøj, der er optaget via ECU, er også del af data. Vores transaktioner i bank- og mobile tegnebøger skaber en enorm mængde data, elforbrug efter ethvert område eller en sektor er også en del af data.
- Og at sige, at disse data stiger eksponentielt dag for dag eller minut for minut.
- Nu opstår spørgsmålet er, kan vi gøre noget med disse data? Kan vi bruge disse data til at give nogle nyttige indsigter? Kan vi øge effektiviteten? Kan vi bruge disse data til at forudsige fremtidige resultater?
- For at besvare alle sådanne spørgsmål har vi et felt kaldet datavidenskab.
- Data Science er kan betragtes som et bredt felt, der omfatter datamining, datateknik, datavisualisering, statistiske metoder til dataintegration, R / python / SQL-programmering, maskinlæring, Big data og mere.
Lad os nu forstå de vigtige begreber inden for datavidenskab.
1. Datateknik
Datateknik er et af aspekterne af datavidenskab, der hovedsageligt fokuserer på anvendelser af data, dataindsamling og dataanalyse. Alt det arbejde, som videnskabsfolk udfører, kan lide at besvare flere spørgsmål, der er relateret til forudsigelser eller analyse, bruger et stort sæt information.
Det, de har brug for, er rigtige og nyttige oplysninger, hvilket skaber et behov for at indsamle og validere de tilgængelige oplysninger. Disse er alle en del af tekniske opgaver. Nogle af disse opgaver kontrollerer for nulværdier (Manglende data), kategoriserer dataene (kategoriske data), opretter datastrukturer (Associeringsregler) osv.
2. Visualisering af data
Datavisualisering er en grafisk tilgang til at repræsentere dataene. Her bruger vi pythons indbyggede bibliotek til at skabe visuelle elementer for eksempel tabeller, korrelationsdiagrammer, søjlediagrammer, pardiagrammer osv. Datavisualisering spiller en meget vigtig rolle i at give en meget nem måde at analysere dataene, se og forstå tendenser, figur out outliers osv.
3. Statistisk forståelse
Statistik spiller en meget vigtig rolle inden for datavidenskab. Statistik er et meget kraftfuldt værktøj til udførelse af opgaverne i Data Science (DS). Statistikker bruger matematik til at udføre teknisk analyse af tilgængelig information. Med visualiseringer som en søjle eller et diagram kan vi få trendinformationen, men statistikker hjælper os med at arbejde på dataene på en matematisk måde / målrettet måde. Uden kendskab til data er videnskabelig visualisering blot et gætte spil.
Vi vil drøfte nogle vigtige statistiske metoder, som dagligt bruges af dataforskere.
- Gennemsnit: Middelværdi er dybest set et gennemsnit af alle data, beregnet ved at tilføje alle dataelementer og derefter dele dem med et antal elementer. Bruges til at identificere centerværdien af alle elementer.
- Median: Median bruges også til at finde centerværdien af tilgængelige elementer, men her er alle data arrangeret i en rækkefølge, og den nøjagtige midtværdi betragtes som en median.
Hvis antallet af elementer er ulige, er medianen ((n + 1) / 2) den term. Hvis et antal elementer er lige, vil medianen være ((n / 2) + 1) th sigt.
- Mode: Mode er en statistisk parameter, der peger på den hyppigste, eller den værdi, der vises mest antal gange, behandles som tilstanden.
- Standardafvigelse: Standardafvigelse angiver, hvor meget spredning der er til stede i data, eller det er en måling til at definere spredning fra middelværdier eller gennemsnitsværdi eller forventet værdi.
I tilfælde af at vi har en lav standardafvigelse, indikerer det, at de fleste af dataværdierne er tæt på gennemsnitsværdien. Hvis vi har en høj standardafvigelse, betyder vores dataværdier mere spredt fra middelværdien.
- Variance: varians er den samme som standardafvigelse med en lille forskel, det er kvadrat af standardafvigelse. Standardafvigelse er afledt af varians, fordi standardafvigelse viser spredning i form af data, mens afvigelse viser spredningen med en firkant. Det er let at korrelere spredning vha. Varians.
- Korrelation: Korrelation er et af de vigtigste statistiske mål, det angiver, hvordan variabler i datasættet er relateret. Når vi ændrer den ene parameter, hvordan den påvirker den anden parameter.
Hvis vi har en positiv korrelationsværdi, hvilket betyder, at variablerne enten vil stige eller falde parallelt
Hvis vi har en negativ korrelationsværdi, hvilket betyder, at variablerne vil opføre sig omvendt på et tilvækst af hinanden vil formindskes og vice versa.
I statistikker har vi en sandsynlighedsfordeling, Bayesianske statistikker og hypotesetestning, som også er meget vigtige værktøjer for en datavidenskabsmand.
Maskinelæring
Maskinlæring betyder dybest set en måde, hvorpå maskiner kan lære og producere output baseret på inputfunktioner.
Definition: "Maskinindlæring er et felt, hvor computeren lærer af tilgængelige data / historiske data uden at være eksplicit programmeret"
I maskinlæring er fokuset på at automatisere og forbedre indlæringsprocessen for computere baseret på deres inputdata-oplevelser, og vi programmerer ikke koden eksplicit for hver type problem, dvs. maskine vil finde ud af, hvordan man nærmer sig problemet. Her er resultaterne måske ikke nøjagtige, men der kan foretages en god forudsigelse.
Lad os forstå det på denne måde:
Traditionelt bruges computere til at lette beregningsprocessen. så hvis vi har nogen aritmetisk beregning. Hvad vil vi gøre? Vi vil forberede et computerprogram, der løser denne operation på en nem og hurtig måde. for f.eks. hvis vi vil tilføje to enheder, opretter vi et stykke softwarekode, der tager to input og i output, viser det summation.
I maskinlæringsmetoden er fremgangsmåden anderledes i stedet for at fodre en direkte algoritme, der sættes en speciel algoritme i softwarekode, som vil forsøge at genkende et mønster og baseret på disse mønstre vil forsøge at forudsige den bedst mulige output. Her koder vi ikke nogen algoritme eksplicit til nogen specifik operation, i stedet fodrer vi data til en maskine for at lære, hvad der er mønsteret og hvad der kan være output.
Hvorfor er vi nødt til at gå efter denne tilgang, når vi direkte kan få de nøjagtige resultater bare ved at kode den nøjagtige algoritme? De nøjagtige algoritmer er komplekse og er begrænsede. Lad os se det fra et andet perspektiv, dette er en æra, hvor vi har en overflod af data, og de eksploderer hver dag, som vi har diskuteret i det foregående afsnit. Her beskæftiger vi os med overvåget og uovervåget læring.
Maskinlæring er af akut interesse i dag, fordi vi har en overflod af data. For at give mening om disse data er vi nødt til at have nogle meningsfulde resultater eller nogle meningsfulde mønstre, som kan analyseres og bruges i reel anvendelse.
Men alligevel, hvorfor er vi interesseret i maskinlæring og disse data?
Vi ved, at menneskeheden bare erstatter historien, ligesom vi er de samme, som vores tidligere generationer var, og vores efterkommere vil også møde flere samme situationer, som vi nu står overfor eller står overfor. På dette stadium må vi forestille os, hvordan vi reagerer for fremtiden ved hjælp af historiske data.
Så nu ved vi, at data er et meget værdifuldt aktiv.
Udfordringen er, hvor bedst kan vi bruge disse tilgængelige data?
Dette er det mest interessante emne (Hvordan?), Hvor vi skal give mening om tilgængelige data. Der er dybest set 3 tilgange til maskinlæring:
- Overvåget læring
- Uovervåget læring
- Forstærkningslæring
Disse tre fremgangsmåder bruges til at skabe en maskinlæringsmodel som (Lineær regression, logistisk regression, tilfældig skov, beslutningstræer osv.).
Der er en lang række anvendelser af disse maskinlæringsmodeller for eksempel:
- Økonomi: bedrageri afsløring
- Marketing / salg: personaliser anbefalingen
- Sundhedsvæsen: identificer tendensen for sygdommen.
Konklusion - Data Science Machine Learning
- Data Science er et bredt felt, hvor maskinlæring er en undergruppe. I dette analyserer vi de historiske data, der er tilgængelige med os, og vi forsøger at forudsige mest sandsynlige fremtidige resultater.
- For at forudsige, at vi er nødt til at rense dataene, skal du arrangere dataene (data engineering). Med data i hånden visualiserer vi mønster / tendenser og derefter med statistisk forståelse, udleder vi indsigtsfulde oplysninger.
- Disse data føres til en maskine ved hjælp af en maskinlæringsalgoritme.
- Disse algoritmer træner maskinen og skaber en maskinlæringsmodel.
- Denne model kan derefter bruges til forudsigelse.
Anbefalede artikler
Dette er en guide til Data Science Machine Learning. Her diskuterer vi vigtigheden af datavidenskab sammen med maskinlæring. Du kan også se på de følgende artikler for at lære mere -
- Bedste datalogi-programmer
- Data Science Færdigheder
- Data Science Sprog
- Maskinindlæringsteknikker
- Hvad er dataintegration?
- Sådan bruges søjlediagrammet i Matlab (eksempler)
- Beslutningstræ i maskinlæring
- Enkle måder at oprette beslutningstræ på