Introduktion til Hadoop FS kommandoliste
Hadoop fungerer på sit eget filsystem, der distribueres i naturen kendt som “Hadoop distribuerede filsystem HDFS ” . Hadoop er afhængig af distribueret lagring og parallel behandling. Denne måde at lagre filen på distribuerede placeringer i en klynge kaldes Hadoop distribueret filsystem dvs. HDFS. For at udføre forskellige operationer på filniveau leverer HDFS sit eget sæt af kommandoer, der er kendt som Hadoop File System Commands. Lad os udforske disse kommandoer. I dette emne skal vi lære om Hadoop FS-kommando.
Kommandoer fra Hadoop FS
Enhver HDFS-kommando har præfikset “hdfs dfs”. Det betyder, at vi specificerer, at standardfilsystemet er HDFS. Lad os udforske kommandoer en efter en
1. Versioner
Versionskommandoen bruges til at finde den version af Hadoop, der er installeret i systemet.
Syntaks: Hadoop version
2. Er kommando
ls-kommandoen i Hadoop bruges til at specificere listen over mapper i den nævnte sti. ls-kommandoen tager hdfs-stien som parameter og returnerer en liste over mapper, der er til stede i stien.
Syntaks: hdfs dfs -ls
Eksempel: hdfs dfs -ls / user / harsha
Vi kan også bruge -lsr til rekursiv tilstand
Syntaks: hdfs dfs –lsr
3. Kattekommando
Cat-kommando bruges til at vise indholdet af filen på konsollen. Denne kommando tager hdfs-filstien som et argument og viser indholdet af filen.
Syntaks: hdfs dfs -cat
Eksempel: hdfs dfs -cat /user/harsha/empnew.txt
4. mkdir kommando
mkdir-kommandoen bruges til at oprette et nyt bibliotek i hdfs-filsystemet. Det tager hfs-stien som et argument og opretter et nyt bibliotek i den angivne sti.
Syntaks: hdfs dfs -mkdir
Eksempel: hdfs dfs -mkdir / user / eksempel
I ovenstående skærmbillede vises det tydeligt, at vi opretter et nyt bibliotek med navnet “eksempel” ved hjælp af kommandoen mkdir, og det samme vises ved hjælp af kommandoen ls.
Også til mkdir-kommando kan vi give '-p' indstillingen. Det opretter overordnede mapper i stien, hvis de mangler.
Eksempel: hdfs dfs -mkdir -p / bruger / test / eksempel2
I ovenstående skærmbillede er det helt tydeligt, at vi har -p mulighed, og i stien / bruger / test / eksempel2 oprettes både test og eksempel2-mapper.
5. sæt kommando
Sæt kommandoen i HDFS bruges til at kopiere filer fra en given kildeplacering til destinationshdfs-stien. Her kan kildeplacering være en lokal filsystemsti. put-kommando tager to argumenter, den første er kildemappe-sti og den anden er målrettet HDFS-sti
Syntaks: hdfs dfs -put
Eksempel: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
I ovenstående skærmbillede kan vi tydeligt se, at filen kopieres fra kilde til destination.
6. copyFromLocal kommando
copyFromLocal-kommando i HDFS bruges til at kopiere filer fra kildestien til destinationsstien. Kilde i denne kommando er begrænset til det lokale filsystem
Syntaks: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Forskellen mellem put-kommando og copyFromLocal-kommando: Der er ikke meget forskel mellem disse to hdfs-shell-kommandoer. Begge bruges til at kopiere fra det lokale filsystem til at målrette HDFS-filstien.
Men put-kommando er mere nyttig og robust, da det tillader at kopiere flere filer eller mapper til destinationen i HDFS
hdfs dfs -put
7. få kommando
get kommando i hdfs bruges til at kopiere en given hdfs fil eller mappe til det lokale lokale filsystem sti. Det tager to argumenter, den ene er source hdfs-stien og den anden er målrettet den lokale filsystemsti
Syntaks: hdfs dfs -get
Eksempel: hdfs dfs -get / user / test / example2 / home / harsha
8. copyToLocal kommando
copyToLocal kommando i hdfs bruges til at kopiere en fil eller mappe i hdfs til det lokale filsystem. I denne kommando er destinationen fastgjort til det lokale filsystem. Denne copyFromLocal-kommando ligner en kommando.
Syntaks: hdfs dfs -copyToLocal
Eksempel: hdfs dfs -copyToLocal / bruger / harsha / eksempel / home / harsha
9. tælle kommando
tællekommando i hdfs bruges til at tælle antallet af mapper, der er til stede i den givne sti. tællekommando tager en given sti som et argument og giver antallet af mapper, der er til stede i den sti.
Syntaks: hdfs dfs -count
Eksempel: hdfs dfs-antal / bruger
10. mv-kommando
mv-kommando i hdfs bruges til at flytte en fil mellem hdfs. mv-kommando tager fil eller bibliotek fra en given kilde-hdfs-sti og flytter den til mål-hdfs-sti.
Syntaks : hdfs dfs -mv
Eksempel : hdfs dfs -mv / user / test / example2 / user / harsha
I ovenstående skærmbillede kan vi se, at eksempel2-biblioteket nu er til stede i / bruger / harsha
11. setrep kommando
setrep-kommando i hdfs bruges til at ændre replikationsfaktoren for den givne fil. Som standard har hdfs en replikeringsfaktor på '3'. Hvis den givne sti er et bibliotek, ændrer denne kommando replikationsfaktoren for alle de filer, der findes i det bibliotek.
Syntaks: hdfs dfs -setrep (-R) (-w)
-w: Dette flag specificerer, at kommandoen skal vente på, at replikationen bliver afsluttet.
rep: replikationsfaktor
Eksempel: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du kommando
du-kommando i hdfs viser diskanvendelse til den givne hdfs-sti. Det tager hfs-stien som input og returnerer diskudnyttelse i byte.
Syntaks : hdfs dfs -du
Eksempel: hdfs dfs -du /user/harsha/empnew.txt
13. rm kommando
rm-kommando i hdfs bruges til at fjerne filer eller mapper i den givne hdfs-sti. Denne kommando tager hdfs-stien som input og fjerner de filer, der findes i denne sti.
Syntaks : hdfs dfs -rm
Eksempel : hdfs dfs -rm / user / harsha / eksempel
Konklusion - Hadoop FS-kommando
Vi har hørt hende om forskellige hdfs-kommandoer, også deres respektive syntaks med eksempler. Vi skal være opmærksomme på kick start af alle hdfs-kommandoer, vi har brug for køre bin / hdfs-script. hdfs efterfølges af en mulighed kaldet dfs, som indikerer, at vi arbejder med Hadoop distribuerede filsystem. Ved hjælp af ovennævnte kommandoer kan vi forhandle med HDFS-filsystemet.
Anbefalede artikler
Dette er en guide til Hadoop FS-kommando. Her diskuterer vi de mest anvendte HDFS-kommandoer. Du kan også se på den følgende artikel for at lære mere -
- Hadoop Arkitektur
- HADOOP-rammer
- Installer Hadoop
- Hadoop Værktøjer
- Tableau-versioner
- Vejledning til listen over Unix Shell-kommandoer