vSphere Big Data Extentions（BDE） では
Hadoop のスレーブノードを、後から追加したりできます。
手動でのスケールアウトだけでなく、
Elastic Scaling という自動でのノード増減機能もあります。
今回は、手動でのノード追加（スケールアウト）を、
BDE の Web Client プラグインから実行してみました。
BDE のセットアップについては、こちらをどうぞ。
vSphere で Hadoop してみる。（Big Data Extentions） 第1回
手動でのスケールアウト
BDE の Web Cliet プラグインの「Big Data Clusters」画面を開いて、
スレーブノードのスケールアウトをしたいクラスタで
右クリックして「Scale Out」をクリックします。
スレーブノード（worker）の、
スケールアウト後の台数を指定します。
今回は、3台から5台に台数を増やしてみます。
クラスタの Status が Updating になります。
Worker を 5 VM に拡張中です。
しばらく待つと完了して、Status が Running になります。
自動スケールアウトについて
BDE には、さらに
自動的に Hadoop のスレーブノード数を増減させる
Elastic Scaling という機能があります。
この機能は、スレーブノードのうち Compute Node を対象とします。
ここでの Compute Node は、MapReduce の TaskTracker のことです。
BDE で作成した
スレーブノードが「DataNode + TaskTracker」になっているクラスタでは
Elastic Scaling を有効にすることはできませんでした。
「cluster setParam」コマンドも、Compute Only のクラスタでないとダメなようです。
serengeti>cluster list --name hdp_cluster03
============================================================================
CLUSTER NAME : hdp_cluster03
AGENT VERSION : 2.0.0
DISTRO : apache
AUTO ELASTIC : N/A ★自動スケールアウトは無効状態。
MIN COMPUTE NODES NUM : N/A
MAX COMPUTE NODES NUM : N/A
IO SHARES : NORMAL
STATUS : RUNNING
GROUP NAME ROLES INSTANCE CPU MEM(MB) TYPE SIZE(GB)
---------------------------------------------------------------------------------------------
master [hadoop_namenode, hadoop_jobtracker] 1 2 7500 SHARED 50
worker [hadoop_datanode, hadoop_tasktracker] 5 1 3748 LOCAL 50
client [hadoop_client, pig, hive, hive_server] 1 1 3748 SHARED 50
============================================================================
serengeti>cluster setParam --name hdp_cluster03 --elasticityMode AUTO --minComputeNodeNum 2 --maxComputeNodeNum 6
cluster hdp_cluster03 setParam failed: If the cluster is MRv1, then it must have compute only node group(s), and set/resetParam is only applicable to compute only node groups. On the other hand, we do not support elasticity on MRv2 (YARN) clusters yet.
だめでした。
というわけで、TaskTracker だけのスレーブノードをもつクラスタを作成して
Elastic Scaling を試してみようと思います。
つづく・・・
vSphere BDE で Elastic Scaling してみる。第2回（Compute-only Hadoop Cluster）