検証用のHadoop環境を構築する Part1

自宅の適当なマシンに検証用のHadoop環境を構築する時の作業メモ。

  1. Linuxディストロをインストールします。
  2. KVMで複数のVMを作ります。
  3. Cloudera Managerを使ってCDHのクラスタを構築します。
  4. (その後、Mahoutで適当な分析を動かしてみるまでやります。)

目指すは以下の形。


セルフ突っ込み

本当は物理マシン複数用意したいけど自宅の様々な問題で却下。
いや、だったらHadoopも疑似分散環境でいーやんというところだが、
完全分散モードで動かさないと実運用にほど遠くなるのでVM作って代替してます。

非常にインストールが容易なのでHadoopはCDHを使います。
余裕があればApacheからインストールする方法を書くかも。
検証環境作るだけならどっちもすぐに終わりますし。

というわけで、今回まずはまっさらなマシンにLinuxディストロを入れます。
一応安定を取ってCentOS 6.4で。

マシンスペック

今回利用するマシンは以下のもの。

CPU Core i7 3.50GHz 8core
RAM DDR3 8GB * 4
ディスク 1TB HDD 1本、2TB HDD 1本
NIC 1GBit Eth

BTOのマシン適当に選び、マザボとかCPUとかFANとかメモリとかディスクとか(多い)ちょっとカスタムしてもらったもの。
つまり極々ありふれたマシンにRAM足してちょっと大きめのディスクを積んだ程度。

BTO?自作しないとは甘い・・・と言われても仕方ないが、
自作してたらケムリ噴いたことあるので身の危険を感じた。

CentOS 6.4インストール

インストールイメージ入手〜インストールDVD作成

以下のCentOS本家サイトからダウンロードリンクを辿ってイメージを入手します。
http://www.centos.org/

MirrorサイトかつAsiaの一覧から適当にJAPANのサイトを選び、
isos→x86_64→と選択して以下をダウンロードします。

  1. CentOS-6.4-x86_64-bin-DVD1.iso
  2. CentOS-6.4-x86_64-bin-DVD2.iso

ファイルが大きいので、md5チェックも行っておくといいでしょう。
(もちろんSHA1とかも置いてあるのでそちらでもOK)

まぁnetinstallでもいいのですが、今回はフルパッケージインストールする気です。
ならば最初っから全部入りです。

ダウンロード後は空きDVDメディア2枚にそれぞれのisoを入れて、インストールDVDを作ります。

インストール

CentOS-6.4-x86_64-bin-DVD1.isoのディスクを入れてインストールを開始します。
GUIに従って粛々と進めればOKです。

今回は1TB HDDの方にインストールしました。
2TB HDDは特にこの時点では何もしません。

インストール中に追加ソフトウェアの選択を聞かれますが、
「今すぐカスタマイズ」を選択して追加パッケージを入れます。
ここで全セクション全ソフトウェアをチェックし、さらに「オプションパッケージ」も全チェックします。
あ、ただし言語設定は日本語だけにしておきました。

あーほら、ディスクには余裕あるしどの道必要なもの以外デーモン止めるし
面倒なことになるのは避けたいし要は検証機だからって面倒くさがりです。

※ちなみに、なぜかフルパッケージ入れようとするとEmacs関連の部分で依存関係エラーになりました。
まぁ自分はEmacsよりVim使いなのでここは不問。外しておきます。異論は受けて立ちません。

初期設定

【検証機用】の初期設定を行います。
(本番運用中のサーバの参考にはしないようにお願いします)
また、ファイルの編集にvimを使ってますので悪しからず。
及び、root権限で行う前提です。
もちろん検証機なのでsudoいちいち実行しないため。

インストール直後はコンソールログインになるでしょう。
まずは以下を行います。

  • GUI環境の停止
$ vim /etc/inittab

# 下記の様にランレベルを3にする。
id:3:initdefault:

  • ネットワーク設定
$ vim /etc/sysconfig/network

# あちこち面倒をさけるためIPV6を停止。
NETWORKING_IPV6=no

# インタフェースの設定
$ vim /etc/sysconfig/network-scripts/ifcfg-eth0

# NetworkManagerの制御OFF。使わない。
NM_CONTROLLED="no"
ONBOOT="yes"

$ service NetworkManager stop
$ chkconfig NetworkManager off

# hostsに自ホスト名の登録を。後で必要になります。
$ vim /etc/hosts
127.0.0.1欄に自ホスト名を追記しておきましょう。

試験環境なので不要。

$ vim /etc/selinux/config

# 以下の様にdisabledにする。
SELINUX=disabled

  • 不要サービスの停止
# 不要なものを片っ端から自動起動しないようにする。
# 例えばNetworkManagerなら以下の様に。
$ chkconfig --level 3 NetworkManager off

# 大体自分の場合は以下のデーモンを残すくらいです。好み&使いたいものに応じて変えてみましょう。
autofs
edac
crond
haldaemon
irqbalance
ksm
ksmtuned
libvirt-guests
libvirt-qmf
libvirtd
messagebus
network
portreserve
rpcbind
rpcgssd
rpcidmapd
rsyslog
sshd
sysstat
udev-post
uuidd

ここまでやって一旦マシンを再起動します。
SELinuxの無効化には必須です。

再起動後は起動中のデーモン確認やSELinuxの停止確認などを行い、
ユーザのカスタマイズを好みに応じてやっておくといいでしょう。

次回はKVMでVMを立ち上げるところから行きます。




あー・・・fabric覚えれば手動でセットアップするの楽になるのかなぁ。