Как установить стек ELK (Elasticsearch, Logstash и Kibana) в Ubuntu 20.04 | Ubuntu 18.08

 

Elastic Stack, известный как ELK (Elasticsearch, Logstash и Kibana), представляет собой мощную платформу с открытым исходным кодом для анализа данных. Он предлагает полный набор функций для индексации, поиска, мониторинга и анализа данных в режиме реального времени.

Elastic Stack можно развернуть локально или в облаке. Он используется как стартапами, так и крупными предприятиями, включая Netflix, Facebook, Goldman Sachs, The Guardian и Thomson Reuters.

Elastic Stack состоит из трех основных компонентов:

• Elasticsearch : поисковая и аналитическая система, которая быстро индексирует данные и обеспечивает быстрые результаты поиска.
• Logstash : инструмент конвейера журналов, который собирает, анализирует и хранит журналы из нескольких источников.
• Kibana : инструмент визуализации и аналитики данных, позволяющий искать, просматривать, анализировать и обмениваться данными.

Каждый из этих компонентов предлагает уникальные функции и преимущества.

Elasticsearch — это быстрый, масштабируемый и простой в использовании механизм поиска и аналитики, который быстро индексирует данные и предоставляет быстрые результаты поиска. Он идеально подходит для приложений реального времени, таких как поиск на веб-сайтах, каталоги продуктов, поддержка клиентов и анализ событий безопасности.

Logstash — это инструмент конвейера журналов, который собирает, анализирует и хранит журналы из нескольких источников. Это поможет вам доставить ваши данные туда, где они должны быть, когда они должны быть там. Logstash также можно использовать для мониторинга вашей системы почти в реальном времени, чтобы вы могли выявлять и устранять проблемы до того, как они станут серьезными.

Kibana — это инструмент визуализации и аналитики данных, который позволяет вам искать, просматривать, анализировать и обмениваться данными. С Kibana вы можете быстро найти информацию о своих данных и увидеть, как работает ваш бизнес. Kibana упрощает создание настраиваемых информационных панелей, чтобы вы могли отслеживать наиболее важные для вас показатели.

Elastic Stack — одно из самых популярных решений для работы с большими данными, и на то есть веские причины. Его легко настроить, он масштабируемый и предлагает множество функций для индексирования, поиска, мониторинга и анализа данных.

Если вы ищете мощную платформу с открытым исходным кодом для анализа данных, стоит подумать об Elastic Stack.

ELK Stack позволяет разработчикам быстро переводить данные в доступное для поиска и анализа состояние без необходимости использования армии консультантов. Пользователи могут брать данные из любого источника и использовать Kibana и / или Logstash для визуализации данных во временных рядах.

Elasticsearch — это распределенная система поиска и аналитики RESTful, которая быстро индексирует данные и обеспечивает быстрые результаты поиска. Он идеально подходит для приложений реального времени, таких как поиск на веб-сайтах, каталоги продуктов, поддержка клиентов и анализ событий безопасности.

В этом руководстве мы расскажем, как установить Elastic Stack на сервер Ubuntu 20.04.

Предпосылки

• Минимальная установка Ubuntu Server 20.04 LTS с доступом SSH и пользователем без полномочий root с привилегиями sudo.
• Доступно минимум 4 ГБ ОЗУ, 2 ЦП и 20 ГБ на жестком диске.

Обновление системы

Рекомендуется регулярно обновлять серверные пакеты. Выполните следующую команду, чтобы обновить кеш репозитория:

sudo apt update && sudo apt upgrade -y

После завершения обновления выполните приведенную ниже команду, чтобы установить необходимые зависимости.

sudo apt install wget apt-transport-https curl gnupg2 -y

Установка Java

Для работы Elasticsearch требуется Java. Ubuntu 2.04 поставляется с Java 8 и Java 11, но некоторые плагины могут быть несовместимы с Java 11, поэтому мы установим Java 8.

Выполните следующую команду, чтобы установить Java 8 в вашей системе.

sudo apt install openjdk-8-jdk -y

После завершения установки вы можете проверить версию Java, установленную в вашей системе, выполнив следующую команду.

java -version

Результат должен выглядеть примерно так.

Установить Elasticsearch

Репозиторий Ubuntu 20.04 по умолчанию не содержит Elasticsearch, но его можно легко установить с помощью APT после добавления официального репозитория Elastic от команды разработчиков Elasticsearch.

Сначала загрузите открытый ключ подписи (Elasticsearch делает это автоматически) с помощью команды curl для проверки пакетов. Пакеты подписываются этим ключом, чтобы гарантировать их подлинность. Мы будем использовать аргументы -fsSL, чтобы указать curl, что мы хотим отключить весь прогресс, и разрешить cURL делать запрос по указанному URL-адресу.

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Вы получите сообщение ОК, если ключ был успешно добавлен.

Затем добавьте репозиторий Elasticsearch в вашу систему, выполнив следующую команду. Мы добавим elastic-7.x.list в каталог sources.list.d. Каталог sources.list.d — это специальный каталог в Ubuntu, куда вы можете добавлять дополнительные источники программного обеспечения. Система APT использует эти файлы для поиска доступных пакетов.

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

Затем обновите кеш репозитория, чтобы прочитать новый репозиторий Elasticsearch.

sudo apt update

Теперь вы можете установить Elasticsearch, выполнив следующую команду.

sudo apt install elasticsearch -y

После завершения установки нам нужно будет настроить Elasticsearch. Файл /etc/elasticsearch/elasticsearch.yml является основным файлом конфигурации для всех настроек Elasticsearch. Например, параметр network.host определяет, к какому IP-адресу или имени хоста привязать службу Elasticsearch.

Давайте откроем файл с помощью текстового редактора nano.

sudo nano /etc/elasticsearch/elasticsearch.yml

Большинство этих параметров предварительно настроены, но вы можете настроить их в соответствии с вашими потребностями. В этом примере мы изменяем только настройку сетевого хоста. Мы раскомментируем и изменим host: на localhost, чтобы Elasticsearch мог прослушивать любой интерфейс. Если вы хотите использовать определенный интерфейс, вы можете заменить localhost конкретным IP-адресом или именем хоста.

До:

После:

Когда вы закончите с изменениями, сохраните файл, нажав CTRL + X, Y и Enter. Теперь запустите Elasticsearch, используя следующую команду. Процесс запуска может занять несколько минут, так что наберитесь терпения.

sudo systemctl start elasticsearch

Чтобы включить автоматический запуск Elasticsearch при загрузке, выполните следующие команды.

sudo systemctl enable elasticsearch

Теперь вы можете протестировать установку, выполнив следующую команду.

curl -X GET "localhost:9200"

Вы должны увидеть следующий ответ от вашего локального узла.

Установить Kibana

Теперь, когда у нас есть Elasticsearch, мы можем установить Kibana. Kibana — это визуальный интерфейс для Elasticsearch, который позволяет нам искать и визуализировать наши данные.

Вы всегда должны устанавливать Kibana Dashboard сразу после установки сервера Elasticsearch. Это обеспечит правильную установку всех компонентов и настроек Elastic Stack.

Выполните следующую команду, чтобы установить Kibana.

sudo apt install kibana -y

После завершения установки нам нужно будет настроить Kibana. Файл /etc/kibana/kibana.yml является основным файлом конфигурации для всех настроек Kibana. Например, порт, к которому следует привязать службу Kibana, параметр elasticsearch.url определяет, на какой URL-адрес Elasticsearch должен указывать kibana, и другие параметры безопасности.

Давайте откроем этот файл с помощью текстового редактора nano.

sudo nano /etc/kibana/kibana.yml

В этом примере мы раскомментируем эти строки: server.port, server.host и elasticsearch.hosts, чтобы Kibana указала на правильный URL-адрес Elasticsearch.

Перед редактированием:

После редактирования:

Теперь сохраните файл, нажав CTRL + X, Y и Enter. Теперь запустите и включите Kibana, используя следующую команду.

sudo systemctl start kibana && sudo systemctl enable kibana

Теперь откройте свой любимый веб-браузер и перейдите по следующему URL-адресу.

http://localhost:5601/app/kibana#/home

Вы будете перенаправлены на экран приветствия Kibana. Отсюда вы можете начать использовать Kibana. Если вы получаете сообщение об ошибке «Сервер Kibana еще не готов», дайте ему несколько минут на запуск. Или убедитесь, что и Elasticsearch, и Kibana работают.

Установить Filebeat

Filebeat — это облегченный отправитель журналов, который может отправлять данные в Elasticsearch. Вы можете установить Filebeat, используя следующую команду.

sudo apt install filebeat -y

После завершения установки вам нужно будет настроить Filebeat. Файл /etc/filebeat/filebeat.yml является основным файлом конфигурации для всех настроек Filebeat.

Давайте откроем этот файл с помощью текстового редактора nano.

sudo nano /etc/filebeat/filebeat.yml

Теперь раскомментируйте строку output.logstash и строку хоста, как показано ниже.

Перед редактированием:

 

После редактирования:

 

Теперь сохраните файл, нажав CTRL + X, Y и Enter. Теперь давайте включим системный модуль Filebeat, загрузим шаблон индекса и подключим Filebeat к Elasticsearch.

 

sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601

Пример вывода:

 

Затем выполните следующую команду, чтобы запустить и включить Filebeat.

sudo systemctl start filebeat && sudo systemctl enable filebeat

Наконец, выполните следующую команду, чтобы убедиться, что Elasticsearch получает данные от Filebeat,

curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

Вы должны увидеть те же данные, что и на изображении ниже. Этот вывод подтверждает, что Filebeat отправляет данные в Elasticsearch.

 

Установить Logstash

Теперь, когда вы успешно настроили Elasticsearch и Kibana, последний шаг — установка Logstash.

Вы можете установить Logstash, используя следующую команду.

sudo apt install logstash -y

После завершения установки вы можете запустить и включить Logstash с помощью следующей команды.

sudo systemctl start logstash && sudo systemctl enable logstash

Чтобы проверить, запущен ли Logstash, вы можете запустить следующую команду, чтобы проверить его состояние.

sudo systemctl status logstash

Вы получите следующий результат.

 

Теперь, когда у нас установлен Logstash, вы можете настроить его под свои нужды. Вы можете обратиться к документации Logstash для получения дополнительной информации.

Когда вы закончите настройку Logstash, вернитесь к веб-интерфейсу Kibana, который вы открыли в своем веб-браузере на предыдущем шаге. Оттуда вы можете начать управлять своими данными и визуализировать их. Поздравляю! Вы успешно установили Elastic Stack на свой сервер Ubuntu 20.04

Вывод

В этом руководстве вы узнали, как установить Elasticsearch, Kibana и Logstash на сервер Ubuntu 20.04. Вы также узнали, как настроить все три компонента, чтобы они могли взаимодействовать друг с другом.

Оставляйте свои комментарии, предложения и вопросы ниже. Если эта статья вам чем-то помогла, нажмите кнопки «Поделиться» вверху страницы, чтобы помочь им.