Як встановити стек ELK (Elasticsearch, Logstash та Kibana) в Ubuntu 24.04 | Ubuntu 22.04
Elastic Stack, відомий як ELK (Elasticsearch, Logstash і Kibana), є потужною платформою з відкритим вихідним кодом для аналізу даних.Він пропонує повний набір функцій для індексації, пошуку, моніторингу та аналізу даних у режимі реального часу.
Elastic Stack можна розгорнути локально або у хмарі.Він використовується як стартапами, так і великими підприємствами, включаючи Netflix, Facebook, Goldman Sachs, The Guardian та Thomson Reuters.
Elastic Stack складається з трьох основних компонентів:
- Elasticsearch : пошукова та аналітична система, яка швидко індексує дані та забезпечує швидкі результати пошуку.
- Logstash : інструмент конвеєра журналів, який збирає, аналізує та зберігає журнали з кількох джерел.
- Kibana : інструмент візуалізації та аналітики даних, що дозволяє шукати, переглядати, аналізувати та обмінюватися даними.
Кожен із цих компонентів пропонує унікальні функції та переваги.
Elasticsearch – це швидкий, масштабований і простий у використанні механізм пошуку та аналітики, який швидко індексує дані та надає швидкі результати пошуку.Він ідеально підходить для програм реального часу, таких як пошук на веб-сайтах, каталоги продуктів, підтримка клієнтів і аналіз подій безпеки.
Logstash – це інструмент конвеєра журналів, який збирає, аналізує та зберігає журнали з кількох джерел.Це допоможе вам доставити ваші дані туди, де вони повинні бути, коли вони мають бути там.Logstash також можна використовувати для моніторингу вашої системи майже в реальному часі, щоб ви могли виявляти та усувати проблеми до того, як вони стануть серйозними.
Kibana – це інструмент візуалізації та аналітики даних, який дозволяє вам шукати, переглядати, аналізувати та обмінюватися даними.З Kibana ви можете швидко знайти інформацію про свої дані та побачити, як працює ваш бізнес.Kibana спрощує створення інформаційних панелей, що настроюються, щоб ви могли відстежувати найважливіші для вас показники.
Elastic Stack – одне з найпопулярніших рішень для роботи з великими даними, і на те є вагомі причини.Його легко налаштувати, він масштабований і пропонує безліч функцій для індексування, пошуку, моніторингу та аналізу даних.
Якщо ви шукаєте потужну платформу з відкритим кодом для аналізу даних, варто подумати про Elastic Stack.
ELK Stack дозволяє розробникам швидко переводити дані у доступний для пошуку та аналізу стан без необхідності використання армії консультантів.Користувачі можуть брати дані з будь-якого джерела та використовувати Kibana та/або Logstash для візуалізації даних у часових рядах.
Elasticsearch – це розподілена система пошуку та аналітики RESTful, яка швидко індексує дані та забезпечує швидкі результати пошуку.Він ідеально підходить для програм реального часу, таких як пошук на веб-сайтах, каталоги продуктів, підтримка клієнтів і аналіз подій безпеки.
У цьому посібнику ми розповімо, як встановити Elastic Stack на сервер Ubuntu 20.04.
Передумови
- Мінімальна установка Ubuntu Server 20.04 LTS з доступом SSH та користувачем без повноважень root із привілеями sudo.
- Доступно мінімум 4 ГБ ОЗУ, 2 ЦП та 20 ГБ на жорсткому диску.
Оновлення системи
Рекомендується регулярно оновлювати серверні пакети.Виконайте наступну команду, щоб оновити кеш репозиторію:
sudo apt update && sudo apt upgrade -y
Після завершення оновлення виконайте наведену нижче команду, щоб встановити потрібні залежності.
sudo apt install wget apt-transport-https curl gnupg2 -y
Встановлення Java
Для роботи Elasticsearch потрібно Java.Ubuntu 2.04 постачається з Java 8 і Java 11, але деякі плагіни можуть бути несумісні з Java 11, тому ми встановимо Java 8.
Виконайте наведену нижче команду, щоб встановити Java 8 у вашій системі.
sudo apt install openjdk-8-jdk -y
Після завершення інсталяції ви можете перевірити версію Java, встановлену у системі, виконавши наступну команду.
java -version
Результат має виглядати приблизно так.
Встановити Elasticsearch
Репозиторій Ubuntu 20.04 не містить Elasticsearch, але його можна легко встановити за допомогою APT після додавання офіційного репозиторію Elastic від команди розробників Elasticsearch.
Спочатку завантажте відкритий ключ підпису (Elasticsearch робить це автоматично) за допомогою команди curl для перевірки пакетів.Пакети підписуються цим ключем, щоб гарантувати їхню справжність.Ми будемо використовувати аргументи -fsSL, щоб вказати curl, що ми хочемо відключити весь прогрес, і дозволити cURL робити запит за вказаною URL-адресою.
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Ви отримаєте повідомлення ОК, якщо ключ був успішно доданий.
Потім додайте репозиторій Elasticsearch у вашу систему, виконавши наступну команду.Ми додамо elastic-7.x.list у каталог sources.list.d.Каталог sources.list.d – це спеціальний каталог Ubuntu, куди ви можете додавати додаткові джерела програмного забезпечення.Система APT використовує ці файли для пошуку доступних пакетів.
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Потім оновіть кеш репозиторію, щоб прочитати новий репозиторій Elasticsearch.
sudo apt update
Тепер ви можете встановити Elasticsearch, виконавши наступну команду.
sudo apt install elasticsearch -y
Після завершення встановлення нам потрібно буде налаштувати Elasticsearch.Файл /etc/elasticsearch/elasticsearch.yml є основним конфігураційним файлом для всіх налаштувань Elasticsearch.Наприклад, параметр network.host визначає, до якої IP-адреси чи імені хоста прив’язати службу Elasticsearch.
Давайте відкриємо файл за допомогою текстового редактора nano.
sudo nano /etc/elasticsearch/elasticsearch.yml
Більшість цих параметрів попередньо налаштовані, але ви можете налаштувати їх відповідно до ваших потреб.У цьому прикладі ми змінюємо лише налаштування мережевого хоста.Ми розкоментуємо та змінимо host: на localhost, щоб Elasticsearch міг прослуховувати будь-який інтерфейс.Якщо ви хочете використовувати певний інтерфейс, ви можете замінити локальну host конкретною IP-адресою або ім’ям хоста.
До:
Після:
Коли ви закінчите зміни, збережіть файл, натиснувши CTRL + X, Y і Enter.Тепер запустіть Elasticsearch, використовуючи наступну команду.Процес запуску може зайняти кілька хвилин, так що наберіть терпіння.
sudo systemctl start elasticsearch
Щоб увімкнути автоматичний запуск Elasticsearch під час завантаження, виконайте такі команди.
sudo systemctl enable elasticsearch
Тепер ви можете протестувати інсталяцію, виконавши наступну команду.
curl -X GET "localhost:9200"
Ви повинні побачити наступну відповідь від вашого локального вузла.
Встановити Kibana
Тепер, коли ми маємо Elasticsearch, ми можемо встановити Kibana.Kibana – це візуальний інтерфейс для Elasticsearch, який дозволяє нам шукати та візуалізувати наші дані.
Ви завжди повинні встановити Kibana Dashboard відразу після встановлення сервера Elasticsearch.Це забезпечить правильне встановлення всіх компонентів та налаштувань Elastic Stack.
Виконайте наведену нижче команду, щоб встановити Kibana.
sudo apt install kibana -y
Після завершення встановлення нам потрібно буде налаштувати Kibana.Файл /etc/kibana/kibana.yml є основним конфігураційним файлом для всіх налаштувань Kibana.Наприклад, порт, до якого слід прив’язати службу Kibana, параметр elasticsearch.url визначає, на яку URL-адресу Elasticsearch повинен вказувати kibana, та інші параметри безпеки.
Давайте відкриємо цей файл за допомогою текстового редактора nano.
sudo nano /etc/kibana/kibana.yml
У цьому прикладі ми розкоментуємо ці рядки: server.port, server.host і elasticsearch.hosts, щоб Kibana вказала на правильну URL-адресу Elasticsearch.
Перед редагуванням:
Після редагування:
Тепер збережіть файл, натиснувши CTRL+X, Y та Enter.Тепер запустіть та увімкніть Kibana, використовуючи наступну команду.
sudo systemctl start kibana && sudo systemctl enable kibana
Тепер відкрийте улюблений веб-браузер і перейдіть за наступною URL-адресою.
http://localhost:5601/app/kibana#/home
Ви будете перенаправлені на вітальний екран Kibana.Звідси можна почати використовувати Kibana.Якщо ви отримуєте повідомлення про помилку «Сервер Kibana ще не готовий», дайте кілька хвилин на запуск.Або переконайтеся, що і Elasticsearch, і Kibana працюють.
Встановити Filebeat
Filebeat – це полегшений відправник журналів, який може надсилати дані в Elasticsearch.Ви можете встановити Filebeat, використовуючи наступну команду.
sudo apt install filebeat -y
Після завершення інсталяції вам потрібно буде налаштувати Filebeat.Файл /etc/filebeat/filebeat.yml є основним конфігураційним файлом для всіх налаштувань Filebeat.
Давайте відкриємо цей файл за допомогою текстового редактора nano.
sudo nano /etc/filebeat/filebeat.yml
Тепер розкоментуйте рядок output.logstash та рядок хоста, як показано нижче.
Перед редагуванням:
Після редагування:
Тепер збережіть файл, натиснувши CTRL+X, Y та Enter.Тепер увімкнемо системний модуль Filebeat, завантажимо шаблон індексу і підключимо Filebeat до Elasticsearch.
sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Приклад висновку:
Потім виконайте наступну команду, щоб запустити та увімкнути Filebeat.
sudo systemctl start filebeat && sudo systemctl enable filebeat
Нарешті, виконайте наступну команду, щоб переконатися, що Elasticsearch отримує дані від Filebeat,
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
Ви повинні побачити ті самі дані, що й на зображенні нижче.Цей висновок підтверджує, що Filebeat надсилає дані в Elasticsearch.
Встановити Logstash
Тепер, коли ви успішно налаштували Elasticsearch і Kibana, останній крок – встановлення Logstash.
Ви можете встановити Logstash за допомогою наступної команди.
sudo apt install logstash -y
Після завершення інсталяції ви можете запустити та ввімкнути Logstash за допомогою наступної команди.
sudo systemctl start logstash && sudo systemctl enable logstash
Щоб перевірити, чи запущено Logstash, ви можете запустити наступну команду, щоб перевірити його стан.
sudo systemctl status logstash
Ви отримаєте наступний результат.
Тепер, коли в нас встановлено Logstash, ви можете налаштувати його під свої потреби.Ви можете звернутися до документації Logstash для отримання додаткової інформації.
Коли ви закінчите налаштування Logstash, поверніться до веб-інтерфейсу Kibana, який ви відкрили у своєму веб-браузері на попередньому кроці.Звідти ви можете почати керувати своїми даними та візуалізувати їх.Вітаю!Ви успішно встановили Elastic Stack на сервер Ubuntu 20.04
Висновок
У цьому посібнику ви дізналися, як встановити Elasticsearch, Kibana та Logstash на сервер Ubuntu 20.04.Ви також дізналися, як налаштувати всі три компоненти, щоб вони могли взаємодіяти один з одним.
Залишайте свої коментарі, пропозиції та питання нижче.Якщо ця стаття вам чимось допомогла, натисніть кнопки «Поділитись» угорі сторінки, щоб допомогти їм.
