今月は1日1回くらい、さまざまな ネステッド vSAN 6.7 U1 を構成してみています。
昨日はこちら。
ネステッド vSAN 6.7 U1 を楽しむ。2018-12-12
13日目は、2ノード vSAN を、3ノード vSAN にしてみます。
vSAN は、12日のものを流用しています。
vSAN-Cluster-20181211 クラスタ（2 ノード → 3 ノード）
- ESXi 2ノード → 3ノード
- ハイブリッド（キャッシュ層 SSD + キャパシティ層 HDD）ディスクグループ
- ディスクグループは各ノードで 1つずつ
- フォールト ドメインは 2つ作成 → デフォルトに戻す。
- vCenter は vSAN 外部に配置
- vSAN ネットワークは外部ルーティングなし
- vSAN Witness Appliance（監視ホスト）を配置 → 撤去
- VMkernel ポートの vSAN Witness Traffic のタグは削除。
開始時点は 2ノード vSAN。
2ノード vSAN が構成されています。
この vSAN クラスタを 3ノード vSAN にします。
3ノード目の ESXi と、その実体の ESXi VM です。
3ノード目は vCenter に登録ずみですが、vSAN クラスタの外部にあります。
この ESXi も、他のノードと同様にネステッド ESXi によるものです。
追加した ESXi のネットワーク構成は、既存の 2台の ESXi に合わせてあります。
既存 2ノードの物理ケーブル結線の変更。
今回は、既存の 2ノードのネットワーク構成は特に変更していません。
本来であれば、2ノード間を直接接続してる構成の場合、
このあとの手順の前に、物理ネットワークのケーブル結線を変更します。
3ノード目も結線できるように、物理ネットワーク スイッチを介してノード間を接続することになります。
vSAN クラスタのホストを一旦停止するか
もしくは物理 NIC 片系ずつ差し替えなどの方法で、変更しておきます。
また、追加ノードと既存ノードとの ping などによる疎通確認も、
ここで実施しておきます。
vSAN ノードの追加。
（本番環境では）ここで vSAN 上の VM を一旦停止して、
前ホストをメンテナンスモードにしておくほうが無難です。
追加ノードで vSAN で利用するディスクで、
自動的にローカル データストアが作成されてしまうことがあります。
その場合、ローカル データストアは削除しておきます。
vSAN クラスタに、ノード#3 を追加します。
この時点ではまだ vSAN ディスクグループが作成されていないので、
手動で作成します。
今回のディスクグループは、ハイブリッド構成です。
ディスクグループが作成されました。
ストレッチ クラスタを「無効化」します。
これ以降は、「監視ホスト」が不要になります。
2ノード ストレッチクラスタ構成のために作成していたフォールトドメインは、
削除してしまいます。
これで、ESXi ホストそれぞれがフォールト ドメインのようになる、デフォルト構成に戻ります。
ESXi ホストから、vSAN Witness タグを削除します。
これは、SSH などで ESXi にログインして作業します。
削除前は、vmk0 に witness タグが付与されています。
[root@esxi-01:~] esxcli vsan network list
Interface
VmkNic Name: vmk0
IP Protocol: IP
Interface UUID: 18f8105c-3ad7-e471-4708-005056a0bc23
Agent Group Multicast Address: 224.2.3.4
Agent Group IPv6 Multicast Address: ff19::2:3:4
Agent Group Multicast Port: 23451
Master Group Multicast Address: 224.1.2.3
Master Group IPv6 Multicast Address: ff19::1:2:3
Master Group Multicast Port: 12345
Host Unicast Channel Bound Port: 12321
Multicast TTL: 5
Traffic Type: witness
Interface
VmkNic Name: vmk1
IP Protocol: IP
Interface UUID: 2ef7105c-b8b0-d3fe-0e5a-005056a0bc23
Agent Group Multicast Address: 224.2.3.4
Agent Group IPv6 Multicast Address: ff19::2:3:4
Agent Group Multicast Port: 23451
Master Group Multicast Address: 224.1.2.3
Master Group IPv6 Multicast Address: ff19::1:2:3
Master Group Multicast Port: 12345
Host Unicast Channel Bound Port: 12321
Multicast TTL: 5
Traffic Type: vsan
削除すると、vSAN トラフィックの vmk1 の表示だけが残ります。
もともと 2 ノード vSAN だった両方のホストから、witness タグを削除します。
[root@esxi-01:~] esxcli vsan network ip remove -i vmk0
[root@esxi-01:~] esxcli vsan network list
Interface
VmkNic Name: vmk1
IP Protocol: IP
Interface UUID: 2ef7105c-b8b0-d3fe-0e5a-005056a0bc23
Agent Group Multicast Address: 224.2.3.4
Agent Group IPv6 Multicast Address: ff19::2:3:4
Agent Group Multicast Port: 23451
Master Group Multicast Address: 224.1.2.3
Master Group IPv6 Multicast Address: ff19::1:2:3
Master Group Multicast Port: 12345
Host Unicast Channel Bound Port: 12321
Multicast TTL: 5
Traffic Type: vsan
vSphere Client 確認でも、vSAN タグだけになったことが確認できます。
vSAN Witness Appliance による監視ホストは、停止しておきます。
これで 2ノード vSAN が、3ノード vSAN になりました。
（本番では）ここで ESXi のメンテナンスモードを解除して、
VM を起動するとよいと思います。
拡張後の vSAN の様子。
監視ホストが削除されて vSAN ノードが追加されたことで、
vSAN オブジェクトの「監視」コンポーネントがリビルドされます。
そのため、構成変更直後は vSAN オブジェクトが「可用性が低下」となります。
ただしコンポーネント 2つが正常な状態なので、データにはアクセス可能な状態です。
リビルド タイマーを待つようですが、「今すぐ再同期」をすることもできます。
「監視」コンポーネントがリビルドされると、オブジェクトが正常になります。
vSAN 健全性テストでは「vSAN オブジェクトの健全性」がエラーになっていますが、
「再テスト」で解消されます。
ただし、ネスト環境なので、いくらか警告は残ります。
ノード（のディスクグループ）追加によって、自動的にデータストア容量が増加したことも確認できます。
ネステッド vSAN 環境で、2ノード → 3 ノード変更の練習をしてみる様子でした。
ちなみに、ノード #3 追加前にすべての ESXi VM で VM のスナップショットを取得しておくと
リトライしやすく検証が捗ると思います。
つづく。