Sådan installeres Kafka? - Vejledning til installation af Kafka på Windows og Linux

Indholdsfortegnelse:

Anonim

Sådan installeres Kafka?

Kafka er en distribueret streaming platform. Det hjælper med at udgive og abonnere på strømme af poster. Kafka bruges normalt til opbygning af realtidsstrømningsdata-rørledninger, der pålideligt får data mellem forskellige systemer og applikationer. Det kan også hjælpe med at oprette streaming-applikationer i realtid, der hjælper med at transformere eller foretage ændringer med datastrømmene. Kafka gør det muligt at gemme strømme af poster i forskellige kategorier kaldet emner. Hver post består af en nøgle, en værdi og en tidsstempel. Det har fire hovedkomponenter som Producer API, Consumer API, Streams API og Connector API. Det bruger TCP-protokollen, som er god kommunikation mellem klienter og servere med høj ydeevne. For at installere Kafka kan følgende trin følges.

Installer Kafka på Windows OS

Følg nedenstående trin for installation af Kafka på Windows:

Trin 1. Download Zookeeper fra følgende link: HTTP: //zookeeper.apache.org/releases.html

Når dette er gjort, skal du downloade Kafka fra at følge linket: http://kafka.apache.org/downloads.html

Download også JRE pr. Dit operativsystem og CPU-arkitektur fra nedenstående link: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Trin 2. JDK-opsætning-

Start JRE-installation, og klik derefter på afkrydsningsfeltet 'Skift destination-mappe'. Klik nu på Installer.

Når dette er gjort, skift mappen til en hvilken som helst sti uden mellemrum i mappenavnet.

Trin 3. Når dette er gjort, skal du åbne miljøvariablerne fra Kontrolpanel -> System -> Avancerede systemindstillinger -> Miljøvariabler.

Trin 4. Klik på Ny brugervariabel i fanen Brugervariabel, og skriv derefter JAVA_HOME i variabelnavnet. Indtast din JRE-sti i sektionen Variabelværdi. Det skal være som nedenfor:

Trin 5. Klik nu på OK.

Trin 6. Søg i en stievariabel i afsnittet 'Systemvariabel' i dialogboksen 'Miljøvariabel', der åbnes.

Trin 7. Rediger stien og skriv “;% JAVA_HOME% \ bin” i slutningen af ​​den tekst, der allerede er skrevet der, ligesom billedet herunder:

Trin 8. For at kontrollere, om Java er installeret korrekt, skal du gå til Kommandoprompt og skrive 'java - version'. Den version af Java, der er installeret, vises på skærmen.

Hvis du ser ovenstående detaljer på kommandoprompten, er du god fra Java-side.

Når Java er installeret, kan du nu flytte for at få opsætningen af ​​Zookeeper færdig.

Følg nedenstående trin for at få Zookeeper installeret på dit system:

  • Åbn det bibliotek, hvor Zookeeper-konfigurationsmappen er der. Det kan være C: \ zookeeper-3.4.7 \ conf.
  • Omdøb nu filen “zoo_sample.cfg” til “cfg”
  • Åbn denne omdøbte fil i Notepad.
  • Find og rediger følgende: dataDir = / tmp / zookeeper til \ zookeeper-3.4.7 \ data
  • Ligesom vi tilføjede miljøvariabel til Java, tilføj en miljøvariabel til Zookeeper.
  • Indstil systemvariablen til: dataDir = / tmp / zookeeper til: \ zookeeper-3.4.7 \ data
  • Rediger systemvariablen med navnet 'Path' og tilføj; % ZOOKEEPER_HOME% \ bin;
  • Standardporten til Zookeeper er 2181, som kan ændres til enhver anden port ved at gå til zoo.cfg-filen.
  • Kør Zookeeper ved at åbne en ny cmd og skriv 'zkserver'. Du vil se nedenstående detaljer.

Når du ser denne skærm, skal du være sikker på, at Zookeeper er installeret med succes.

Opsætning af Kafka

Når du har Java og Zookeeper i gang på dit system, kan du gå videre til opsætning af Kafka.

  • Gå til Kafka config-bibliotek.
  • Rediger filen “server.properties”.
  • Når dette er gjort, kan du finde og redigere den linje, hvor du ser: dirs = / tmp / kafka-logs til “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
  • Hvis du har din Zookeeper på en anden maskine, kan du ændre denne sti til "zookeeper.connect: 2181" til en tilpasset IP- og port-id.
  • Standardporten til Kafka er port 9092 og for at oprette forbindelse til Zookeeper er den 2181.

Kører en Kafka-server

Når den første opsætning er udført, kan du nemt køre en Kafka-server

Før du kører Kafka-server, skal man sikre sig, at Zookeeper-forekomsten er i gang.

1. Gå til Kafka installationsmappe: C: /kafka_2.11-0.9.0.0

2. Åbn kommandoprompten, og tryk på Skift + højreklik, og vælg muligheden 'Åbn kommandovindue her'.

3. Skriv nu. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties, og tryk på Enter.

Når du kører dette, og alt er i orden, skal din skærm se ud som nedenfor:

4. Nu er din Kafka-server kørt. Du kan oprette dine egne emner for at gemme forskellige meddelelser. Når dette er gjort, kan du fremstille og forbruge data fra Java eller Scala-kode eller direkte køre fra kommandoprompten.

Installer Kafka på Linux

Følg nedenstående trin for at installere Kafka på Linux:

Trin 1. Download og udpak Kafka-binære filer og opbevar dem i mapper.

Trin 2. Uddrag arkivet, du downloader ved hjælp af tar-kommandoen.

Trin 3. For at konfigurere Kafka skal du gå til server.properties. Åbn denne fil ved hjælp af nano-kommando, og tilføj følgende i bunden af ​​filen.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Trin 4. Når dette er gjort, skal brugeren oprette systemenhedsfiler til Kafka-tjenester. Dette hjælper med at udføre almindelige servicehandlinger som at starte, stoppe og genstarte Kafka på en ensartet måde med andre Linux-tjenester. Zookeeper er en service, der bruges af Kafka til at styre dens klynge og konfigurationer.

Trin 5. For at oprette en enhedsfil for Zookeeper, følges nedenfor:

sudo nano /etc/systemd/system/zookeeper.service

Trin 6. Når denne zookeeper-fil er oprettet, indsæt nedenunder den:

(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target

Dette (enhed) afsnit her specificerer, at Zookeeper kræver, at netværk og filsystem skal være klar, før det kan starte.

Afsnittet (Service) lader systemet vide, at zookeeper-server-start.sh og zookeeper-server-stop.sh-filer er til stede for at starte og stoppe tjenesterne.

Trin 7. Nu skal brugeren oprette en systemfil for Kafka som nedenfor:
sudo nano /etc/system/system/Kafka.service

Trin 8. I denne fil indsættes nedenfor:

(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target

Her specificerer (enhed), at enhedsfilen er afhængig af zookeeper.service. Dette sikrer, at zookeeper startes, inden Kafka starter.

Trin 9. Du skal nu aktivere Kafka og genstarte serveren. Kør: sudo systemctl aktiver Kafka

Trin 10. Test af installation:

Du kan teste din Kafka-installation ved at oprette et emne og derefter offentliggøre det til forbrugerne.

Opret et emne ved : ~ / Kafka / bin / Kafka-topics.sh –oprett –Zookeeper localhost: 2181 –replikationsfaktor 1 –dele 1 –topisk tutorialTopic

Send denne bruger kan oprette producenter og forbrugere og derefter offentliggøre alle data til de specifikke emner.

Anbefalede artikler

Dette har været en guide til Installation af Kafka. Her har vi diskuteret forskellige trin til at installere Kafka på Windows og Linux. Du kan også se på de følgende artikler for at lære mere -

  1. Trin til at installere Java 8
  2. Sådan installeres C
  3. Vejledning til installation af Ruby
  4. Kafka-applikationer
  5. JRE vs JVM | Top 8 forskelle med (Infographics)