MacにHadoopの擬似分散環境を構築した
こんばんは。
Hadoopを試したくなったので、Mac上に構築してみました。
基本的な流れは、以下のサイトを参考にしました。
(2012/08/31 追記) 以下のサイトが見れない状態になっています。 私のリンクが原因じゃないといいのですが・・・。
Mac OS X 上で Hadoop 疑似分散環境の構築
http://www.ayutaya.com/sys/os-x/hadoop-pdist
localhost に ssh する箇所で引っかかった
上記手順の 「3. Hadoop DFS (HDFS) + Hadoop MapReduce の設定」 で、localhost に ssh で接続する箇所があるのですが、初めてやったところ、以下のエラーが表示されました。
mbp:hadoop-test rabitarochan$ ssh localhost ssh: connect to host localhost port 22: Connection refused
とりあえず sshd の起動を試してみます。
mbp:hadoop-test rabitarochan$ sshd start sshd re-exec requires execution with an absolute path
あれ?
フルパスで指定するのでしょうか。
mbp:hadoop-test rabitarochan$ which sshd /usr/sbin/sshd mbp:hadoop-test rabitarochan$ /usr/sbin/sshd start Extra argument start.
うーん。起動しないなー。
・・・
いろいろ調べてみると、以下のページが見つかりました。
Port 22:Connection Refused (SSH login)
https://discussions.apple.com/thread/1009632?start=0&tstart=0
このページによると、mac に ssh で接続するためには、以下の手順でリモートログインを有効にするらしいです。
- [システム環境設定] > [共有] をクリックする。
- [リモートログイン] のチェックを入れる。
この手順のあとに、ssh localhost を実行したところ、以下のとおり正常に ssh でログインができました!!
mbp:~ rabitarochan$ ssh localhost Last login: Thu Aug 30 22:24:38 2012 from localhost -bash: /Users/rabitarochan/.bash_profile: line 8: unexpected EOF while looking for matching `'' -bash: /Users/rabitarochan/.bash_profile: line 11: syntax error: unexpected end of file mbp:~ rabitarochan$ ssh localhost
あ! .bash_profile でエラーが出てるwww
.bash_profile のエラーも直したし、Hadoopも無事動きました!!
さて、scala の勉強がてら、scalaでHadoopしてみようと思います。