Kafka instellen: 4 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:16

Invoering:

Apache Kafka is een open-source schaalbaar en high-throughput messaging-systeem ontwikkeld door de Apache Software Foundation, geschreven in Scala. Apache Kafka is speciaal ontworpen om een enkel cluster te laten dienen als de centrale data-backbone voor een grote omgeving. Het heeft een veel hogere doorvoer in vergelijking met andere berichtenmakelaarssystemen zoals ActiveMQ en RabbitMQ. Het is in staat om grote hoeveelheden real-time gegevens efficiënt te verwerken. U kunt Kafka implementeren op een enkele Apache-server of in een gedistribueerde geclusterde omgeving.

Functies:

De algemene kenmerken van Kafka zijn als volgt:

Persist-bericht op schijf dat constante tijdprestaties biedt.

Hoge doorvoer met schijfstructuren die honderdduizenden berichten per seconde ondersteunen.

Gedistribueerd systeem schaalt gemakkelijk zonder downtime.

Ondersteunt multi-abonnees en balanceert automatisch de verbruikers bij storing.

Deze zelfstudie laat zien hoe u Apache Kafka op een Ubuntu 16.04-server installeert en configureert.

Vereisten

Een Ubuntu 16.04-server.

Niet-rootgebruikersaccount met supergebruikersrechten ingesteld op uw server.

Stap 1: Aan de slag en Java installeren

1) Laten we ervoor zorgen dat uw Ubuntu 16.04-server volledig up-to-date is

U kunt uw server bijwerken door de volgende opdrachten uit te voeren: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Java installeren

Controleer of uw machine Java heeft dat al is geïnstalleerd of een Java-standaardversie heeft met de volgende opdracht: -

java -versie

Zelfs als je java hebt, maar een lagere versie, moet je deze upgraden.

U kunt Java installeren door: -

sudo apt-get install default-jdk

OF

U kunt Oracle JDK 8 installeren met behulp van de Webupd8-team PPA-repository.

Voer de volgende opdracht uit om de repository toe te voegen: -

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install oracle-java8-installer -y

Stap 2: Installeer Zookeeper

Wat is Zookeeper?

Zookeeper is een gecentraliseerde service voor het onderhouden van configuratie-informatie, naamgeving, gedistribueerde synchronisatie en het leveren van groepsservices. Al dit soort diensten worden in een of andere vorm gebruikt door gedistribueerde applicaties. Elke keer dat ze worden geïmplementeerd, is er veel werk aan het oplossen van de bugs en race-omstandigheden die onvermijdelijk zijn. Vanwege de moeilijkheid om dit soort diensten te implementeren, beknibbelen applicaties er in eerste instantie meestal op, waardoor ze broos worden in aanwezigheid van veranderingen en moeilijk te beheren zijn. Zelfs als ze correct worden uitgevoerd, leiden verschillende implementaties van deze services tot beheercomplexiteit wanneer de applicaties worden geïmplementeerd.

Voordat u Apache Kafka installeert, moet de dierenverzorger beschikbaar en actief zijn. ZooKeeper is een open source-service voor het onderhouden van configuratie-informatie, het bieden van gedistribueerde synchronisatie, naamgeving en het leveren van groepsservices.

1) Standaard is het Zookeeper-pakket beschikbaar in de standaardrepository van Ubuntu

U kunt het installeren door de volgende opdracht uit te voeren: -

sudo apt-get install zookeeperd

Zodra de installatie is voltooid, wordt deze automatisch gestart als een daemon. Standaard draait Zookeeper op poort 2181.

U kunt het testen door de volgende opdracht uit te voeren:

netstat -ant | grep:2181

De uitvoer zou u moeten laten zien dat er naar poort 2181 wordt geluisterd.

Stap 3: Installeer en start Kafka Server

Nu Java en ZooKeeper zijn geïnstalleerd, is het tijd om Kafka te downloaden en uit te pakken van de Apache-website.

1)U kunt curl of wget gebruiken om Kafka:(Kafka-versie 0.10.1.1) te downloaden

Voer de volgende opdracht uit om de kafka-installatie te downloaden: -

curl -O

OF

wget

2)Maak een map voor Kafka

Maak vervolgens een map voor Kafka-installatie:

sudo mkdir /opt/kafka

cd /opt/kafka

3)Gedownloade map uitpakken

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.tgz -C /opt/kafka/

*Wijzig de gebruikersnaam volgens uw gebruikersnaam

4)Start de kafka-server

De volgende stap is om de Kafka-server te starten, u kunt deze starten door het kafka-server-start.sh-script uit te voeren dat zich in de map /opt/kafka/kafka_2.11-0.10.1.1/bin/ bevindt met behulp van de volgende opdracht: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5)Controleer of de Kafka-server goed werkt

U hebt nu een Kafka-server die draait en luistert op poort 9092.

Nu kunnen we luisterpoorten controleren:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ':2181|:9092'

Stap 4: Test uw Kafka-server

Nu is het tijd om te controleren of de Kafka-server correct werkt.

1)Maak een nieuw onderwerp

Om Kafka te testen, maakt u een voorbeeldonderwerp met de naam "testing" in Apache Kafka met behulp van de volgende opdracht:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --replicatie-factor 1

2)Controleer of uw onderwerp met succes is gemaakt

Vraag Zookeeper nu om een lijst te maken van beschikbare onderwerpen op Apache Kafka door de volgende opdracht uit te voeren:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost:2181

3)Publiceer een bericht met het onderwerp dat je hebt gemaakt

echo "hallo wereld" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --onderwerp testen

4)Ontvang het bericht over het gemaakte onderwerp

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --onderwerp testen -vanaf het begin

5)Een bestand verzenden met kafka over een onderwerp

kafka-console-producer.sh --broker-list localhost:9092 –onderwerp testen