読者です 読者をやめる 読者になる 読者になる

MacにHadoopの擬似分散環境を構築した

こんばんは。

Hadoopを試したくなったので、Mac上に構築してみました。

基本的な流れは、以下のサイトを参考にしました。

(2012/08/31 追記)
以下のサイトが見れない状態になっています。
私のリンクが原因じゃないといいのですが・・・。

Mac OS X 上で Hadoop 疑似分散環境の構築
http://www.ayutaya.com/sys/os-x/hadoop-pdist

localhostssh する箇所で引っかかった

上記手順の 「3. Hadoop DFS (HDFS) + Hadoop MapReduce の設定」 で、localhostssh で接続する箇所があるのですが、初めてやったところ、以下のエラーが表示されました。

mbp:hadoop-test rabitarochan$ ssh localhost
ssh: connect to host localhost port 22: Connection refused

とりあえず sshd の起動を試してみます。

mbp:hadoop-test rabitarochan$ sshd start
sshd re-exec requires execution with an absolute path

あれ?
フルパスで指定するのでしょうか。

mbp:hadoop-test rabitarochan$ which sshd
/usr/sbin/sshd
mbp:hadoop-test rabitarochan$ /usr/sbin/sshd start
Extra argument start.

うーん。起動しないなー。

・・・
いろいろ調べてみると、以下のページが見つかりました。

Port 22:Connection Refused (SSH login)
https://discussions.apple.com/thread/1009632?start=0&tstart=0

このページによると、mac に ssh で接続するためには、以下の手順でリモートログインを有効にするらしいです。

  1. [システム環境設定] > [共有] をクリックする。
  2. [リモートログイン] のチェックを入れる。

この手順のあとに、ssh localhost を実行したところ、以下のとおり正常に ssh でログインができました!!

mbp:~ rabitarochan$ ssh localhost
Last login: Thu Aug 30 22:24:38 2012 from localhost
-bash: /Users/rabitarochan/.bash_profile: line 8: unexpected EOF while looking for matching `''
-bash: /Users/rabitarochan/.bash_profile: line 11: syntax error: unexpected end of file
mbp:~ rabitarochan$ ssh localhost

あ! .bash_profile でエラーが出てるwww

.bash_profile のエラーも直したし、Hadoopも無事動きました!!

さて、scala の勉強がてら、scalaでHadoopしてみようと思います。