群集 是一组计算机(称为节点/成员),可以一起工作以执行任务的业务模型。群集根据应用场景可以分为四种类型,分别是存储群集;高可用性群集;负载均衡群集和高性能计算群集。在生产环境中,HA(高可用性)和 LB(负载均衡)群集是群集环境中部署最多的群集类型。它为终端用户提供了不间断的服务/数据可用性。HA 群集配置有时分为两种模式:主动-主动和主动-被动。

  • 主动-主动模式:通常至少需要两个节点,两个节点在同一服务/应用程序上主动运行。这主要用于实现负载均衡(LB)群集,以在节点之间分配工作负载。
  • 主动-被动模式:至少需要两个节点才能提供完全冗余的系统。此时,服务/应用程序一次仅在一个节点上运行,并且主要用于实现高可用性(HA)群集,因为一个节点将是活动的,而另一个节点将是备用的(被动)。

本文将演示如何在 CentOS 7 系统配置高可用(HA)群集,在我们的设置中,将仅关注高可用性(即主动-被动模式,也可以称为故障转移群集)。在 HA 群集中的节点,可以相互跟踪其他节点的状态,在节点出现故障时将服务迁移到其他节点。另外,节点的故障对于群集外部的客户端来说是看不到的,但是在迁移期间会有很小的服务中断。

RedHat / Centos 7 中的高可用性群集与以前的版本完全不同。从 RedHat 7 开始,”pacemaker”成为默认的集群资源管理器(RM),Corosync 负责与其他群集节点定期交换和更新群集信息。Pacemaker 和 Corosync 都是非常强大的开源工具,它们完全替代了RedHat 之前版本中使用的 CMAN 和 RGManager。

本教程将演示如何在 CentOS 7 系统上配置具有公共 iscsi 共享存储的高可用性(HA)/故障转移群集。这些内容将适合 RHEL/CentOS/Fedora,只需要对其中的部分内容做较少的改动。

1] 实验环境

本教程将使用三台主机,两台为 HA 群集节点,另外一台为  iSCSI 目标服务器。

  • HA 节点1
    • 主机名:node-1
    • IP 地址:172.16.200.1
    • 操作系统:CentOS 7
  • HA 节点2
    • 主机名:node-2
    • IP 地址:172.16.200.2
    • 操作系统:CentOS 7
  • 浮动 IP:172.16.200.3
  • iSCSI 目标服务器
    • 主机名:iscsi-server
    • IP 地址:172.16.200.4
    • 操作系统:CentOS 7

2] 配置共享存储服务器(iSCSI 目标)

在 iSCSC 服务器执行如下命令,查看服务器块文件信息:

# lsblk

输入信息如下:

图.1 iSCSI 目标服务器块存储信息

使用上面的命令,就可以用树状格式列出主机所有块设备。示例将配置”/dev/sdb”作为群集节点的共享存储。

特别提示:

共享存储是所有高可用群集的重要资源之一,因为它为集群中的所有节点提供相同类型的应用程序数据,并且可以让群集中所有节点的应用程序进行访问。在生产环境中,SAN 存储将被广泛使用。示例中,我们将 iSCSI 共享存储用于HA群集。

现在更新 iSCSI 服务器的系统并安装相应工具:

# yum update -y
# yum install targetcli -y

安装好后,使用 targetcli 工具,按如下步骤创建 iSCSI 目标:

1. 创建块存储设备

/> cd /backstores/block
/> create iscsilun1 /dev/sdb

2. 创建 iSCSI 目标

/> cd /iscsi
/> create iqn.2021-01.local.server-iscsi:server

3. 创建 ACLs

/> cd /iscsi/iqn.2021-01.local.server-iscsi:server/tpg1/acls
/> create iqn.2021-01.local.client-iscsi:client1

4. 创建 LUNs

/> cd /iscsi/iqn.2021-01.local.server-iscsi:server/tpg1/luns
/> create /backstores/block/iscsilun1

5. 启用 CHAP 认证

/> cd /iscsi/iqn.2021-01.local.server-iscsi:server/tpg1/
/> set attribute authentication=1
/> cd /iscsi/iqn.2021-01.local.server-iscsi:server/tpg1/acls/iqn.2021-01.local.client-iscsi:client1/
/> set auth userid=rultr
/> set auth password=rultr
/> cd /
/> saveconfig

全部配置完成后,在 targetcli 工具命令行使用 ls 命令查看全部配置,典型输出如下所示:

图.2  iSCSI 目标配置详情

iSCSI 目标配置完成了,开启防火墙端口并关闭 SELinux,启动 target 服务后,就完成了 iSCSI 目标服务器的配置:

# firewall-cmd --add-service=iscsi-target --permanent --zone=public
# firewall-cmd --reload
# systemctl enable --now target 
# systemctl status target

2] 配置高可用(HA)群集

配置 HA 群集之前,先将如下内容添加至”/etc/hosts”文件中,以便通过主机名识别主机:

172.16.200.1    node-1
172.16.200.2    node-2
172.16.200.4    iscsi-server

两台节点主机均安装 iSCSI 启动器工具,连接使用共享存储:

# yum install iscsi-initiator-utils -y

启动器安装成功后,编辑”/etc/iscsi/initiatorname.iscsi”文件,将启动器名称设置为与 iSCSI 目标服务器的一致:

InitiatorName=iqn.2021-01.local.client-iscsi:client1

启动 iscsid 服务:

# systemctl enable --now iscsid
# systemctl status iscsid

由于目标服务器配置了CHAP 认证,所以需要修改 iscsi 服务的配置文件”/etc/iscsi/iscsid.conf”,配置 CHAP 认证信息:

# systemctl enable --now iscsid

全部完成后,使用如下命令发现并连接 iSCSI 目标:

# iscsiadm --mode discoverydb --type sendtargets --portal iscsi-server --discover
# iscsiadm -m node --login
# lsblk

图.3 HA 节点连接 iSCSI 共享存储

可以看到,iSCSI 目标已经被系统所识别。之后就可以格式化该设备并将它挂载到系统目录:

# mkfs.xfs /dev/sdb
# mkdir -p /iscsi
# mount /dev/sdb /iscsi/

两台主机均挂载成功后,修改”/etc/fstab”文件,添加如下内容,以使目标卷开机自动挂载到系统:

/dev/sdb    /iscsi    xfs    defaults,_netdev    0 0

两个 HA 节点均可以访问共享存储后,继续创建群集。注意以下命令两台 HA 节点均需要执行。

# yum install pcs fence-agents-all -y
# firewall-cmd --add-service=high-availability --zone=public --permanent
# firewall-cmd --reload
# systemctl enable --now pcsd

HA 软件包安装成功后,会自动创建一个”hacluster”用户,来管理高可用程序,使用如下命令为该用户设置密码:

# passwd hacluster

群集节点使用”hacluster”用户在节点之间进行通信,为了能够正确的进行通信,我们需要为此帐户设置一个密码。建议在所有节点上使用相同的密码。

密码设置完成后,使用如下命令验证群集:

# pcs cluster auth node-1 node-2

图.4 验证群集中的所有节点

上面的命令主要用于验证群集中每个节点之间的 pcsd。身份验证只需要执行一次,验证通过后,令牌(授权)密钥文件将保存在以下路径”~/.pcs/tokens 或 /var/lib/pcsd/tokens”中。

群集中所有节点均验证通过后,就可以使用如下命令创建群集了:

#  pcs cluster setup --start --enable --name HA_cluster node-1 node-2

图.5 创建高可用群集

通过上面的命令,我们可以建立一个新群集。使用”–name”参数设置群集的名称,示例中使用”HA_cluster”,并添加了 node- 1 和 node-2 作为群集中的节点。”–start”和”–enable”的参数将同时影响群集中两个节点上的群集服务。

从图.5 的输出中,可以看到群集已成功创建并在两个节点上启动了服务。

最后,将群集设置为开机自动启动,并查看群集状态:

# pcs cluster enable --all
# pcs cluster status

图.6 查看群集状态

以上命令只列出了群集部件的状态,使用”pcs status”命令会显示群集的详细信息,包括节点的详细信息,主机状态和资源信息。

从图.6 的输出中,可以看到群集设置在两个节点上均正常运行,但是尚未配置任何资源。接下来,我们将演示添加一些资源以完成群集的所有设置。

在添加资源之前,我们先验证一下群集配置:

# crm_verify -L -V

图.7 验证群集配置

看到一堆的错误也不要头大,这只是意味着验证工具发现有关 Fencing 设置的一些错误,因为在默认情况下启用了STONITH。演示方便起见,我们将禁用此功能。而对于生产环境的群集,则不建议禁用此项。

Fencing 也称为 STONITH,它是群集中的重要工具之一,用于保护共享存储上的数据不受损坏;当节点之间无法相互通信时,Fencing 起着至关重要的作用,它将分离故障节点访问的共享存储。

对于 Fencing,有两种可用的类型:资源级防护和节点级防护。

在本演示中,由于我们的计算机运行在不支持 Fmware 的环境中,因此我将不运行 Fencing(STONITH),但是在生产环境中实施的用户,请点击 >>这里<< 查看 Fencing 的相关设置。

使用以下命令禁用 STONITH 并忽略仲裁策略,并检查”群集属性”的状态以确保两者均被禁用:

# pcs property set stonith-enabled=false
# pcs property set no-quorum-policy=ignore
# pcs property list

图.8 关闭群集 STONITH 功能

此时,群集的 STONITH 和仲裁策略全部禁用,再次使用之前的命令验证群集配置,也不会出现报错了。

群集架构搭建完成后,就可以为群集添加资源了,没有资源的群集是没有任何实际意义的。在群集服务中,资源可以是物理硬件单元(例如磁盘驱动器),也可以是逻辑单元(例如 IP 地址,文件系统或应用程序)。在群集中,资源一次只能在单个节点上运行。

示例演示中,我们将使用以下资源:

  • HTTP 服务
  • IP 地址
  • 文件系统

我们首先在每个节点均安装 HTTP 服务器,使用 NGINX,安装教程可以参考 >>这里<<

安装完成后,使用以下命令修改服务器主目录以及开启防火墙服务:

# vi /etc/nginx/conf.d/default.conf
    location / {
        root /iscsi/html;
        index index.html index.htm;
    }
# firewall-cmd --add-service=http --zone=public --permanent
# firewall-cmd --reload

为了能够让群集软件监控 NGINX 服务状态,在”/etc/nginx/conf.d/”目录下添加一个”status.conf”配置文件,内容如下:

server {
    listen 8008;
    server_name localhost;

    location / {
        stub_status on;
        access_log off;
    }
}
//开启防火墙
# firewall-cmd --add-port=8008/tcp --zone=public --permanent 
# firewall-cmd --reload

现在开始创建群集资源,我们将添加三个群集资源:名为 NGINX_FS 的文件系统资源,名为 NGINX_VIP 的浮动 IP 地址资源,以及名为 NGINX_WEB 的 Web 服务器资源。使用以下命令将三个资源添加到同一资源组中:

# pcs resource create NGINX_FS Filesystem device="/dev/sdb" directory="/iscsi/" fstype="xfs" --group nginx
# pcs resource create NGINX_VIP IPaddr2 ip=172.16.200.3 cidr_netmask=24 --group nginx
# pcs resource create NGINX_WEB ocf:heartbeat:nginx configfile="/etc/nginx/nginx.conf" httpd="/usr/sbin/nginx" port=8008 status10url="http://localhost" --group nginx

全部配置完成后,就可以使用如下命令查看群集资源状态:

# pcs resource show

图.9 查看群集资源状态

可以看到,所有群集资源均已经启动,并且所有资源均归属于 node-1 节点。

此时,就可以分别查看两个节点的文件系统及 IP 地址信息:

图.10 节点1 文件系统及 IP 地址信息

图.11 节点2 文件系统及 IP 地址信息

可以看出,节点1 已经挂载了”/dev/sdb”卷,并且使用了群集的浮动 IP 地址。而节点2并没有被分配这些群集资源,与之前描述的 HA 群集同时只有一个节点使用资源一致。至于 Nginx 服务也由节点1 来承担,可以通过浏览器分别访问节点1的 IP 地址以及浮动 IP 来进行验证,这里就不再过多演示。

至此,我们已经 CentOS 7 系统上成功配置了两个节点高可用性群集。希望本文能帮助您了解有关”HA /故障转移群集”的一些知识。 如果想要了解更为细致的内容,可以参考相关手册。

发表评论

您的电子邮箱地址不会被公开。