Как установить Apache Kafka на Debian 10

Debian, Linux

Как установить Apache Kafka на Debian 10

 

В этом руководстве мы покажем вам, как установить Apache Kafka на Debian 10. Для тех из вас, кто не знал, Apache Kafka — это платформа распределенной потоковой передачи событий с открытым исходным кодом, используемая тысячами компаний для высокопроизводительных конвейеров данных. потоковая аналитика, интеграция данных и критически важные приложения.

В этой статье предполагается, что у вас есть хотя бы базовые знания Linux, вы знаете, как использовать оболочку, и, что наиболее важно, вы размещаете свой сайт на собственном VPS. Установка довольно проста и предполагает, что вы работаете с учетной записью root, в противном случае вам может потребоваться добавить ‘ sudo‘ к командам для получения привилегий root. Я покажу вам пошаговую установку Apache Kafka на Debian 10 (Buster).

Установите Apache Kafka на Debian 10 Buster

Шаг 1. Перед запуском приведенного ниже руководства важно убедиться, что ваша система обновлена, выполнив следующие aptкоманды в терминале:

sudo apt update

Шаг 2. Установка Java.

Теперь установите Java, используя следующую команду:

sudo apt install default-jdk

Проверьте версию Java, выполнив следующую команду:

java -version

Шаг 3. Установка Apache Kafka на Debian 10.

Теперь мы запускаем следующую команду, чтобы загрузить пакеты Apache Kafka с официального сайта:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Затем распакуйте загруженный архивный файл:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Шаг 4. Создайте файлы модулей Systemd.

Теперь мы создаем systemdфайлы модулей для службы Zookeeper и Kafka. Это поможет управлять сервисами Kafka для запуска или остановки с помощью systemctlкоманды:

nano /etc/systemd/system/zookeeper.service

Добавьте следующий файл:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Затем, чтобы создать systemdфайл модуля Kafka, используя следующую команду:

nano /etc/systemd/system/kafka.service

Добавьте приведенный ниже контент:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Сохраните файлы и перезагрузите systemdдемон, чтобы применить новые изменения:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Шаг 5. Создайте тему в Kafka.

Сначала создайте тему с именем «MakeTopic» с одним разделом с одной репликой:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

После этого вы можете увидеть созданные темы в Kafka, выполнив следующую команду:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Шаг 6. Отправьте сообщения Kafka.

Теперь мы запускаем производителя, а затем вводим в консоль несколько сообщений для отправки на сервер:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Шаг 7. Использование Kafka Consumer.

Apache Kafka также имеет потребителя командной строки для чтения данных из кластера Kafka и вывода сообщений на стандартный вывод.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

Поздравляю! Вы успешно установили Apache Kafka . Благодарим за использование этого руководства для установки последней версии Apache Kafka в системе Debian. Для получения дополнительной помощи или полезной информации мы рекомендуем вам посетить официальный сайт Apache Kafka .