vSphere で Hadoop してみる。（Big Data Extentions）第1回

Hadoop 検証環境がほしくなり、

せっかくなので vSphere Big Data Extentions（BDE）を試してみようと思います。

vSphere Big Data Extensions

http://www.vmware.com/jp/products/big-data-extensions

BDE は、vSphere 環境で

Hadoop クラスタの自動プロビジョニングや VM 追加などができるソリューションです。

GUI（vSphere Web Client のプラグイン）と

CLI（serengeti）どちらでも、Hadoop 環境を構築できます。

ちなみに、これまで serengeti というプロジェクトで取り組まれていたもので

その名前が残っています。

この機能は、OVF 形式（.ova ファイル）で提供されていて、

vCenter から vApp としてデプロイできます。

BDE の vApp は、2つの VM を含みます。

この BDE で Hadoop クラスタを構成する場合は

検証目的でも Hadoop 環境にそこそこマシンスペックが高くないと厳しいと思いますが

この vApp 自体にはそんなにリソースを必要としません。

management-server
Hadoop クラスタの自動プロビジョニングや、
クラスタへのノード追加、自動削除をする、BDEの管理サーバです。
SSH でログインして、CLI（serengeti という名前）を実行することもできます。
hadoop-template
Hadoop 関連のサーバを自動構成する時に使用するテンプレート用 VM です。
vApp に含まれますが、普段は起動しない VM です。

それでは、BDE をデプロイしてみます。

今回は、vSphere 5.5 u1 の環境を使用しています。

まず、Web Client で vCenter にログインして、

インベントリのどこかに「OVF テンプレートのデプロイ」をします。

vApp なので、一応 DRS クラスタにデプロイしています。

BDE の OVF ファイルを指定します。

今回は、BDE 2.0 を使用しています。評価版は MyVMware からダウンロードできます。

BDE の vApp は、

シックプロビジョニングの場合、デプロイに 40GB 以上のディスク容量が必要です。

シンプロビジョニングであれば、10GB に収まるようです。（初期だと 7.6GB）

これとはべつに、Hadoop クラスタの容量が必要になります。

EULA を「承諾」して「次へ」をクリック。

vApp の名前を変更できます。デフォルトだと

「vSphere Big Data Extensions Server」です。

デプロイ先のデータストアを指定します。

今回はデータストアの空き容量があまりなく、

検証環境なので、今回は「Thin Provision」（シンプロビジョニング）にしました。

BDE の vApp に含まれる、

管理サーバが使用するネットワーク（ポートグループ）を指定します。

Network 1 は IPv4、Network 2 は IPv6 で使用するようです。

BDE の管理サーバに対する設定を入力します。

「Initialize Resources?」のチェックは ON にしておきます。
VCSSO（vCenter SSO）の Lookup Service の URL は、
ホスト名の部分を VCSSOのアドレスに書き換えます。
VCSSOは、だいたいvCenter と一緒だと思うので、
ここでは、vCenter のアドレスを指定することが多いでしょう。
参照する DNS サーバのアドレスもここで指定します。

まだこの画面で入力します・・・