Настройка кластеризации серверов NFS с помощью Pacemaker в CentOS 7 / RHEL 7
NFS (сетевая файловая система) — наиболее распространенный сервер для передачи файлов по сети. С помощью сервера NFS мы можем обмениваться папками по сети, а разрешенные клиенты или система могут получать доступ к этим общим папкам и использовать их в своих приложениях. Когда дело доходит до производственной среды, мы должны настроить сервер nfs на высокую доступность, чтобы исключить единую точку отказа.
В этой статье мы обсудим, как мы можем настроить кластеризацию высокой доступности nfs-сервера (активный-пассивный) с кардиостимулятором на CentOS 7 или RHEL 7.
Ниже приведены данные моей лаборатории, которые я использовал для этой статьи.
- Сервер NFS 1 (nfs1.example.com) — 192.168.1.40 — Минимальная CentOS 7 / RHEL 7
- Сервер NFS 2 (nfs2.example.com) — 192.168.1.50 — Минимальная CentOS 7 / RHEL 7
- VIP-сервер NFS — 192.168.1.51
- Брандмауэр включен
- SELinux включен
Выполните следующие шаги, чтобы настроить активно-пассивную кластеризацию NFS-сервера на CentOS 7 / RHEL 7.
Шаг 1) Установите имя хоста на обоих серверах nfs и обновите файл /etc/hosts
Войдите на оба сервера nfs и установите имя хоста как «nfs1.example.com» и «nfs2.example.com» соответственно с помощью команды hostnamectl. Пример показан ниже.
~]# hostnamectl set-hostname "nfs1.example.com" ~]# exec bash
Обновите файл / etc / hosts на обоих серверах nfs,
192.168.1.40 nfs1.example.com 192.168.1.50 nfs2.example.com
Шаг 2) Обновите оба сервера nfs и установите пакеты ПК
Используйте команду ‘yum update’ ниже, чтобы применить все обновления на обоих серверах nfs, а затем перезагрузиться один раз.
~]# yum update && reboot
Установите ПК и пакеты с агентами на оба сервера nfs,
[root@nfs1 ~]# yum install -y pcs fence-agents-all [root@nfs2 ~]# yum install -y pcs fence-agents-all
После установки пакетов ПК и агентов ограждения разрешите связанные с ПК порты в брандмауэре ОС с обоих серверов nfs,
~]# firewall-cmd --permanent --add-service=high-availability ~]# firewall-cmd --reload
Теперь запустите и включите службу pcsd на обоих узлах nfs, используя следующие команды:
~]# systemctl enable pcsd ~]# systemctl start pcsd
Шаг 3) Аутентифицируйте узлы nfs и сформируйте кластер
Установите пароль для пользователя hacluster, служба pcsd будет использовать этого пользователя для аутентификации узлов кластера, поэтому давайте сначала установим пароль для пользователя hacluster на обоих узлах,
[root@nfs1 ~]# echo "enter_password" | passwd --stdin hacluster [root@nfs2 ~]# echo "enter_password" | passwd --stdin hacluster
Теперь аутентифицируйте узлы кластера. В нашем случае nfs2.example.com будет аутентифицирован на nfs1.example.com, выполните следующую команду кластера ПК на «nfs1»
[root@nfs1 ~]# pcs cluster auth nfs1.example.com nfs2.example.com Username: hacluster Password: nfs1.example.com: Authorized nfs2.example.com: Authorized [root@nfs1 ~]#
Теперь пришло время сформировать кластер с именем « nfs_cluster » и добавить к нему оба узла nfs. Выполните команду « Установка кластера ПК » с любого узла nfs,
[root@nfs1 ~]# pcs cluster setup --start --name nfs_cluster nfs1.example.com \ nfs2.example.com
Включите службу кластера ПК на обоих узлах, чтобы узлы автоматически присоединялись к кластеру после перезагрузки. Выполните команду ниже с любого из узлов nfs,
[root@nfs1 ~]# pcs cluster enable --all nfs1.example.com: Cluster Enabled nfs2.example.com: Cluster Enabled [root@nfs1 ~]#
Шаг 4) Определите устройство ограждения для каждого узла кластера
Ограждение — самая важная часть кластера. Если какой-либо узел выходит из строя, то устройство ограждения удаляет этот узел из кластера. В Pacemaker ограждение определяется с помощью ресурса Stonith (Shoot The Other Node In The Head).
В этом руководстве мы используем общий диск размером 1 ГБ (/ dev / sdc) в качестве устройства ограждения. Давайте сначала узнаем идентификатор диска / dev / sdc
In this tutorial we are using a shared disk of size 1 GB (/dev/sdc) as a fencing device. Let’s first find out the id of /dev/sdc disk
[root@nfs1 ~]# ls -l /dev/disk/by-id/
Запишите идентификатор диска /dev/sdc, как мы это сделаем в команде « pcs stonith ».
Теперь выполните команду «pcs stonith» на любом из узлов, чтобы создать устройство ограждения (disk_fencing).
[root@nfs1 ~]# pcs stonith create disk_fencing fence_scsi \ pcmk_host_list="nfs1.example.com nfs2.example.com" \ pcmk_monitor_action="metadata" pcmk_reboot_action="off" \ devices="/dev/disk/by-id/wwn-0x6001405e49919dad5824dc2af5fb3ca0" \ meta provides="unfencing" [root@nfs1 ~]#
Проверьте статус stonith, используя команду ниже,
[root@nfs1 ~]# pcs stonith show disk_fencing (stonith:fence_scsi): Started nfs1.example.com [root@nfs1 ~]#
Запустите команду « pcs status », чтобы просмотреть статус кластера.
[root@nfs1 ~]# pcs status Cluster name: nfs_cluster Stack: corosync Current DC: nfs2.example.com (version 1.1.16-12.el7_4.7-94ff4df) \ - partition with quorum Last updated: Sun Mar 4 03:18:47 2018 Last change: Sun Mar 4 03:16:09 2018 by root via cibadmin on nfs1.example.com 2 nodes configured 1 resource configured Online: [ nfs1.example.com nfs2.example.com ] Full list of resources: disk_fencing (stonith:fence_scsi): Started nfs1.example.com Daemon Status: corosync: active/enabled pacemaker: active/enabled pcsd: active/enabled [root@nfs1 ~]#
Примечание. Если ваши узлы кластера являются виртуальными машинами и размещены на VMware, вы можете использовать агент ограждения« забор_vmware_soap ». Чтобы настроить «Забор_vmware_soap» в качестве агента ограждения, выполните следующие логические шаги:
1) Убедитесь, что узлы кластера могут подключиться к гипервизору VMware или Vcenter.
# fence_vmware_soap -a <vCenter_IP_address> -l <user_name> -p <password> \ --ssl -z -v -o list |egrep "(nfs1.example.com|nfs2.example.com)" or # fence_vmware_soap -a <vCenter_IP_address> -l <user_name> -p <password> \ --ssl -z -o list |egrep "(nfs1.example.com|nfs2.example.com)"
Если вы можете видеть имена виртуальных машин в выходных данных, это нормально, иначе вам нужно проверить, почему узлы кластера не могут установить соединение esxi или vcenter.
2) Определите устройство ограждения, используя команду ниже,
# pcs stonith create vmware_fence fence_vmware_soap \ pcmk_host_map="node1:nfs1.example.com;node2:nfs2.example.com" \ ipaddr=<vCenter_IP_address> ssl=1 login=<user_name> passwd=<password>
3) проверьте статус камня, используя команду ниже,
# pcs stonith show
Шаг 5) Установите nfs и отформатируйте общий диск nfs
Установите пакет nfs-utils на оба сервера nfs
[root@nfs1 ~]# yum install nfs-utils -y [root@nfs2 ~]# yum install nfs-utils -y
Остановите и отключите локальную службу « nfs-lock » на обоих узлах, так как эта служба будет контролироваться кардиостимулятором.
[root@nfs1 ~]# systemctl stop nfs-lock && systemctl disable nfs-lock [root@nfs2 ~]# systemctl stop nfs-lock && systemctl disable nfs-lock
Предположим, у нас есть общий диск «/dev/sdb» размером 10 ГБ между двумя узлами кластера. Создайте на нем раздел и отформатируйте его как файловую систему xfs.
[root@nfs1 ~]# fdisk /dev/sdb
Запустите команду partprobe на обоих узлах и перезагрузитесь один раз.
~]# partprobe
Теперь отформатируйте «/dev/sdb1» как файловую систему xfs.
[root@nfs1 ~]# mkfs.xfs /dev/sdb1
meta-data=/dev/sdb1 isize=256 agcount=4, agsize=655296 blks
= sectsz=512 attr=2, projid32bit=1
= crc=0 finobt=0
data = bsize=4096 blocks=2621184, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=0
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@nfs1 ~]#
Создайте точку монтирования для этой файловой системы на обоих узлах,
[root@nfs1 ~]# mkdir /nfsshare [root@nfs2 ~]# mkdir /nfsshare
Шаг 6) Настройте все необходимые ресурсы NFS на узлах кластера.
Ниже приведены необходимые ресурсы NFS:
- Ресурс файловой системы
- ресурс nfsserver
- ресурс exportfs
- Ресурс плавающего IP-адреса IPaddr2
Для ресурса файловой системы нам нужно общее хранилище между узлами кластера, мы уже создали раздел на общем диске (/ dev / sdb1) в вышеуказанных шагах, поэтому мы будем использовать этот раздел. Используйте приведенную ниже команду « pcs resource create », чтобы определить ресурс файловой системы с любого узла,
[root@nfs1 ~]# pcs resource create nfsshare Filesystem device=/dev/sdb1 \ directory=/nfsshare fstype=xfs --group nfsgrp [root@nfs1 ~]#
В приведенной выше команде мы определили файловую систему NFS как « nfsshare » в группе « nfsgrp ». Теперь все ресурсы nfs будут созданы в группе nfsgrp.
Создайте ресурс nfsserver с именем nfsd , используя следующую команду:
[root@nfs1~]# pcs resource create nfsd nfsserver \ nfs_shared_infodir=/nfsshare/nfsinfo --group nfsgrp [root@nfs1~]#
Создайте ресурс exportfs с именем « nfsroot ».
[root@nfs1 ~]# pcs resource create nfsroot exportfs clientspec="192.168.1.0/24" options=rw,sync,no_root_squash directory=/nfsshare fsid=0 --group nfsgrp [root@nfs1 ~]#
В приведенной выше команде clientpec указывает разрешенных клиентов, которые могут получить доступ к nfsshare.
Создайте ресурс NFS IPaddr2, используя команду ниже,
[root@nfs1 ~]# pcs resource create nfsip IPaddr2 ip=192.168.1.51 \ cidr_netmask=24 --group nfsgrp [root@nfs1 ~]#
Теперь просмотрите и проверьте кластер, используя статус ПК.
[root@nfs1 ~]# pcs status
Как только вы закончите с ресурсами NFS, разрешите порты сервера nfs в брандмауэре ОС с обоих серверов nfs,
~]# firewall-cmd --permanent --add-service=nfs ~]# firewall-cmd --permanent --add-service=mountd ~]# firewall-cmd --permanent --add-service=rpc-bind ~]# firewall-cmd --reload
Шаг 7) Попробуйте подключить общий ресурс NFS на клиентах
Теперь попробуйте смонтировать общий ресурс nfs с помощью команды mount, пример показан ниже.
[root@localhost ~]# mkdir /mnt/nfsshare [root@localhost ~]# mount 192.168.1.51:/ /mnt/nfsshare/ [root@localhost ~]# df -Th /mnt/nfsshare Filesystem Type Size Used Avail Use% Mounted on 192.168.1.51:/ nfs4 10G 32M 10G 1% /mnt/nfsshare [root@localhost ~]# [root@localhost nfsshare]# cd /mnt/nfsshare/ [root@localhost nfsshare]# ls nfsinfo [root@localhost nfsshare]#
Для тестирования кластера остановите службу кластера на любом из узлов и посмотрите, доступен ли nfsshare или нет. Предположим, я собираюсь остановить службу кластеров на «nfs1.example.com».
[root@nfs1 ~]# pcs cluster stop Stopping Cluster (pacemaker)... Stopping Cluster (corosync)... [root@nfs1 ~]#
Теперь перейдите на клиентский компьютер и посмотрите, доступен ли по-прежнему nfsshare. В моем случае я все еще могу получить к нему доступ и создавать на нем файлы.
[root@localhost]# touch test [root@localhost]#
Теперь включите службу кластеров на «nfs1.example.com», используя следующую команду:
[root@nfs1 ~]# pcs cluster start Starting Cluster... [root@nfs1 ~]#
Вот и все из этой статьи, она подтверждает, что мы успешно настроили активно-пассивную кластеризацию NFS с помощью кардиостимулятора. Пожалуйста, поделитесь своими отзывами и комментариями в разделе комментариев ниже.