Forskelle mellem tekstudvikling kontra tekstanalyse
Strukturerede data har været derude siden de tidlige 1900'ere, men hvad der gjorde tekstudvikling og tekstanalyse så speciel er at udnytte informationen fra ustrukturerede data (Natural Language Processing). Når vi først er i stand til at konvertere denne ustrukturerede tekst til semistrukturerede eller strukturerede data, vil den være tilgængelig til at anvende alle data mining algoritmer ex. Statistiske og maskinlæringsalgoritmer.
Selv Donald Trump var i stand til at udnytte dataene og konvertere dem til oplysninger, der hjalp ham med at vinde det amerikanske præsidentvalg, og grundlæggende gjorde han det ikke, som hans underordnede gjorde. Der er en meget god artikel derude http://fivethirtyeight.com/features/the-real-story-of-2016/ du kan gennemgå den.
Mange virksomheder er begyndt at bruge tekstudvinding til at bruge værdifulde input fra den tilgængelige tekst derude, for eksempel kan et produktbaseret firma bruge twitter-data / Facebook-data for at vide, hvor godt eller dårligt deres produkt klarer sig derude i verden ved hjælp af Sentimental Analyse. I de tidlige dage brugte behandlingen meget tid, dage, faktisk til at behandle eller endda implementere maskinlæringsalgoritmerne, men med introduktionen af værktøjer som Hadoop, Azure, KNIME og andre big data-behandlingssoftware er tekstudvinding har vundet en enorm popularitet på markedet. Et af de bedste eksempler på tekstanalyse ved hjælp af associeringsminedrift er Amazons anbefalingsmotor, hvor den automatisk giver anbefalinger til sine kunder, hvad andre mennesker har købt, når de køber et bestemt produkt.
En af de største udfordringer ved at anvende tekstindvindingsværktøjer til noget, der ikke er i et digitalt format / på computerdrev, er processen med at fremstille den. De gamle arkiver og mange vigtige dokumenter, der kun er tilgængelige på papirer, læses undertiden gennem OCR (Optical Character Recognition), som har mange fejl, og nogle gange indtastes manuelt data, der er tilbøjelige til menneskelige fejl. Årsagen til at vi ønsker disse er, at vi muligvis kan udlede andre indsigter, som ikke er synlige fra traditionel læsning.
Nogle af trinnene i tekstminedrift er som nedenfor
- Informationsindhentning
- Forberedelse og rengøring af data
- Segmentering
- tokenization
- Stop-ordnumre og fjernelse af tegnsætning
- Tilsyn
- Konverter til små bogstaver
- POS-tagging
- Opret tekstkorpus
- Term-dokument matrix
Og nedenfor er trinene i Tekstanalyse, der anvendes efter udarbejdelse af terminaldokumentmatrix
- Modellering (Dette kan omfatte inferentielle modeller, forudsigelsesmodeller eller receptpligtige modeller)
- Uddannelse og evaluering af modeller
- Anvendelse af disse modeller
- Visualisering af modellerne
Det eneste, man altid skal huske, er, at tekstudvinding altid går foran tekstanalyse.
Sammenligning mellem hovedet og hovedet mellem tekstminering vs tekstanalyse (infografik)
Nedenfor er den 5 sammenligning mellem forudsigelig tekstudvikling mod tekstanalyse 
Vigtige forskelle mellem tekstudvikling kontra tekstanalyse
Lad os differentiere tekstudvikling og tekstanalyse baseret på de trin, der er involveret i få applikationer, hvor begge disse tekstvindinger og tekstanalyser anvendes:
• Klassificering af dokumenter
I dette er trinene, der er inkluderet i tekstudvinding, tokenisering, stemming og lemmatisering, fjernelse af stopwords og tegnsætning og til sidst beregning af udtrykket frekvensmatrix eller dokumentfrekvensmatrixer.
Tokenisering - Processen med at opdele hele data (korpus) i mindre bidder eller mindre ord, som normalt er enkeltord kaldes tokenization (N-Gram-model eller Bag of word Model)
Stemming og lemmatisering - For eksempel betyder ordene, store større og største alle de samme, og det vil danne duplikatdata for at holde dataene overflødige, vi udfører lemmatisering, idet vi forbinder ord med rodordet.
Fjernelse af stopord - Stopord bruges ikke i analyser, som vil indeholde ord som is, the og osv.
Termfrekvenser - Dette er en matrix, der har rækkeoverskrifter som dokumentnavne og kolonner som udtryk (ord), og dataene er hyppigheden af ordene, der forekommer i disse bestemte dokumenter. Nedenfor er et eksempel på et skærmbillede. 
I ovenstående figur har vi attributterne i rækkerne (ord) og dokumentnummeret som kolonner og ordfrekvensen som dataene.
Når vi nu kommer til tekstanalyse har vi følgende trin, der skal overvejes
Clustering - Ved hjælp af K-betyder clustering / Neural Networks / CART (Klassificering og regressionstræer) eller en hvilken som helst anden clustering-algoritme kan vi nu klynge dokumenterne baseret på de funktioner, der blev genereret (funktioner her er ordene).
Evaluering og visualisering - Vi afsætter klyngen i to dimensioner og ser, hvordan disse klynger varierer fra hinanden, og hvis modellen holder godt på testdata, kan vi implementere den i produktion, og det vil være en god dokumentklassificering, der klassificerer enhver ny dokumenter, der gives som input, og det vil bare navngive den klynge, hvori den falder ind.
• Sentimentanalyse
Et af de mest kraftfulde værktøjer derude på markedet, der hjælper med at behandle twitter-data / Facebook-data eller andre data, der kan bruges til at udlede stemningen derfra, uanset om stemningen er god, dårlig eller neutral til en bestemt proces / produkt eller person er følelsesanalyse.
Datakilden kan let være tilgængelig ved hjælp af twitter API / Facebook API for at få tweets / kommentarer / likes osv. På tweet eller et post fra et firma. Det største problem er, at disse data er svære at strukturere. Dataene vil også indeholde forskellige reklamer, og den datavidenskabsmand, der arbejder for virksomheden, skal sørge for, at udvælgelsen af data sker på den rigtige måde, så kun udvalgte tweets / posts går igennem til forbehandlingsstadier.
Andre værktøjer inkluderer skrabning af web, dette er en del af tekstudvinding, hvor du skraber dataene fra websteder ved hjælp af crawlere.
Processen med tekstudvinding forbliver den samme som tokenisering, stemming og lemmatisering, fjernelse af stopwords og tegnsætning og til sidst computing, udtrykket frekvensmatrix eller dokumentfrekvensmatrixer, men den eneste forskel kommer, når man anvender sentimentanalysen.
Normalt giver vi en score til ethvert indlæg / tweet. Normalt, når du køber et produkt og gennemgår, hvis du også får en mulighed for at give stjerner til anmeldelsen og skrive en kommentar. Google, Amazon og andre websteder bruger stjernerne til at bedømme kommentaren, ikke kun dette de tager også tweets / indlæg og giver dem til mennesker for at bedømme den som god / dårlig / neutral og ved at kombinere disse to scoringer genererer de en ny score til enhver bestemt tweet / post.
Visualisering af følelsesanalyse kan udføres ved hjælp af en word sky, søjlediagrammer over frekvenstermmatrixen.
• Sammenslutning af mineanalyse
Et af de applikationer, som nogle fyre arbejdede på, var ”Probabilistic model for bivirkningsbegivenheder”, hvor man kan kontrollere, hvilke bivirkninger der kan forårsage andre bivirkninger, hvis han tager en bestemt medicin.
Tekstudvindingen omfattede nedenstående arbejdsgang
Fra ovenstående figur kan vi se, at indtil data-mining er alle trin tilhørende tekst mining, som identificerer datakilden, uddrager dem og derefter forbereder den klar til at blive analyseret.
Derefter anvender associering minedrift har vi nedenstående model
Som vi kan se, at nogle pilemærker peger mod den orange cirkel og derefter en pil peger mod en bestemt ADE (negativ medicinhændelse). Hvis vi tager et eksempel på venstre side af billedet, kan vi finde apati, asteni og følelse af unormal fører til skyldfølelse, ja man kan sige, det er indlysende, det er indlysende, fordi du som menneske kan fortolke og forholde, men her en maskine fortolker det og giver os den næste uheldige medicinbegivenhed.
Et eksempel på ordet sky er som nedenfor
Sammenligningstabel mellem Text Mining vs Text Analytics
Nedenfor er lister over punkter, der beskriver sammenligningerne mellem Text Mining vs Text Analytics:
| Grundlag for sammenligning | Tekstminedrift | Tekstanalyse |
|
Betyder | Tekst mining er grundlæggende oprydning af od-data for at være tilgængelige for tekstanalyse | Text Analytics anvender statistiske og maskinlæringsteknikker for at være i stand til at forudsige / ordinere eller udlede information fra de tekstudviklede data. |
|
Koncept | Tekstminedrift er et værktøj, der hjælper med at rydde dataene. | Tekstanalyse er processen med anvendelse af algoritmer |
|
Framework | Hvis vi taler om rammerne, ligner minedrift af tekst det ETL (Extract Transform Load), hvilket betyder at være i stand til at indsætte data i databasen, disse trin udføres | I tekstanalyse bruges disse data til at tilføje værdier til virksomheden, f.eks. Oprette ordskyer, to gram frekvensdiagrammer, N-gram i nogle tilfælde |
|
Sprog | Python og R er de mest berømte tekstindvindingsværktøjer derude til tekstminedrift | Når det gælder tekstanalyse, når dataene er tilgængelige på databaseniveau, kan vi bruge en hvilken som helst af analysesoftware derude, inklusive python og R. Andre softwareprodukter inkluderer Power BI, Azure, KNIME osv. |
|
eksempler |
|
|
Konklusion -Text Mining vs Text Analytics
Fremtiden for tekstudvikling og tekstanalyse er ikke kun relevant for engelsk, men der er også sket kontinuerlige fremskridt og ved hjælp af sproglige værktøjer er ikke kun engelske andre sprog også overvejede til analyse.
Omfanget og fremtiden for tekstudvinding vil vokse, da der er begrænsede ressourcer til at analysere andre sprog.
Text Analytics har en meget bred vifte, hvor den kan anvendes, nogle af eksemplerne på de industrier, hvor dette kan bruges, er:
- Social medieovervågning
- Pharma / Biotech-applikationer
- Forretnings- og marketingapplikationer
Anbefalet artikel
Dette har været en guide til forskel mellem Text Mining vs Text Analytics, deres betydning, sammenligning mellem hoved, hovedforskelle, sammenligningstabel og konklusion. Du kan også se på de følgende artikler for at lære mere -
- Azure Paas vs Iaas - Find forskellene ud
- Bedste 3 ting at lære om datamining min tekstminedrift
- Kend den bedste 7 forskel mellem datamining og dataanalyse
- Business Intelligence vs Machine Learning - hvilken der er bedre
- Predictive Analytics vs Data Mining - Hvilken er mere nyttig