2010年10月30日土曜日

CentOS5.5にHadoop0.21.0をインストールする

CentOS5.5にHadoop0.21.0をインストールするには、以下の手順を実行します。

○Sun JDKのdownload&install
以下のサイトからrpm版を落として、インストール
http://java.sun.com/javase/ja/6/download.html

chmod +x jdk-6u22-linux-x64-rpm.bin
./jdk-6u22-linux-x64-rpm.bin

インストールしたJDKをalternativesのリストに追加
alternatives --install /usr/bin/java java /usr/java/jdk1.6.0_22/bin/java 200
alternatives --config javaで、インストールしたJDKを選択

vi /etc/profile
以下を最終行に追加
export JAVA_HOME=/usr/java/jdk1.6.0_22
保存して
source /etc/profile

○hadoop用のユーザ追加
groupadd -g 2000 hadoop
useradd -g hadoop -u 2000 hadoop
passwd hadoop
パスワードを2回入力

○hadoopのインストール
tar xvfz hadoop-0.21.0.tar.gz
mv hadoop-0.21.0 /opt/hadoop-0.21.0
cd /opt
chown -R hadoop:hadoop hadoop-0.21.0

vi /etc/profile
以下を最終行に追加
export HADOOP_HOME=/opt/hadoop-0.21.0
export PATH=$PATH:$HADOOP_HOME/bin
保存して
source /etc/profile

○ssh設定
su - hadoop
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh hadoop0
以下のメッセージが出たらyesを入力
Are you sure you want to continue connecting (yes/no)? yes
exit

○hadoop設定

cd $HADOOP_HOME/conf
vi hadoop-env.sh
以下の行を追加
export JAVA_HOME=/usr/java/jdk1.6.0_22

vi $HADOOP_HOME/conf/core-site.xml
configuration要素を以下のように設定
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
</configuration>

vi $HADOOP_HOME/conf/hdfs-site.xml
configuration要素を以下のように設定
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

vi $HADOOP_HOME/conf/mapred-site.xml
configuration要素を以下のように設定
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
</property>
</configuration>

vi $HADOOP_HOME/conf/masters
localhostを消してホスト名入力

vi $HADOOP_HOME/conf/slaves
localhostを消してホスト名入力

hdfs namenode -format
start-dfs.sh
start-mapred.sh

動作環境
CentOS5.5, hadoop 0.21.0, JDK6 Update22

0 件のコメント:

コメントを投稿