VM Ubuntu에 Hadoop(Stand-Alone) 설치하기

작년 10월 무렵에 하둡을 한번 설치를 해 본적이 있었다. 그때는 메뉴얼도 잘 안나와 있고, 무슨 소리인지 잘 몰라서 고개만 갸우뚱거리다가 그냥 넘어갔는데, 요번에 하둡을 다시 설치해 볼일이 생겨 구글링을 해 보니 작년하고 다르게 쉬운 메뉴얼들이 많이 나와 있었다. 그래서, 가장 간단하면서도 빠르고 쉽게 하둡을 설치할 수 있는 방법을 글로 적어보도록 하겠다.

대부분의 리눅스에는 OpenJDK가 설치되어 있다. 

하둡은 자바이기 때문에, 자바를 함께 설치를 해야하는데 sun jdk가 가장 궁합이 잘 맞는다고 한다.

그래서, 이번에는 Ubuntu에 자바 설치하는 것부터 삽질해 보았다.

1.     Sun jdk1.7을 설치한다.  Oracle jdk7을 설치해야하는줄 알았는데, 나중에 프로그래밍을 하는데 Java Version이 안 맞는다는 오류가 발생을 했다. 그래서 설치한 jdk7을 다시 다 삭제를 해야만 했다. ㅠㅠ 그래서 sun-java6-jdk를 설치해야 하는데 기가막히게 설명을 잘 해놓은 블로그를 찾았다. (http://ammoguy.springnote.com/pages/354463) 여기 들어가면 완전 친절하게 써 놓았으니 참고해서 자바를 설치하길 바란다.

$ sudo add-apt-repository ppa:webupd8team/java $ sudo apt-get update $ sudo apt-get install oracle-jdk7-installer

 

2.     http://ftp.daum.net/apache/hadoop/common/stable/ 에서 hadoop-1.0.3.tar.gz 을 다운로드 받아 압축을 푼다.

3.     $HOME 디렉토리의 .profile을 열어 다음과 같은 내용을 추가한다.

export JAVA_HOME="/usr/lib/jvm/default-java" export HADOOP_HOME="/home/nalee/hadoop-1.0.3"

 

4.     다음과 같은 명령어로 터미널창의 환경변수를 적용해 준다.

$ source ~/.profile

 

5.     Hadoop Home > conf > hadoop_env.sh 파일을 열어서 4번에서 입력한 것처럼 JAVA_HOME을 다음과 같이 수정한다.

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun to export JAVA_HOME=/usr/lib/jvm/default-java

6.     이제 간단하게 테스트를 한번 해 보자

-      Hadoop Version 알아보기

-      간단한 데이터 수집해 보기

$ mkdir input  $ cp conf/*.xml input  $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'  $ cat output/*

참조 블로그 :

http://crazia.tistory.com/742

http://www.webupd8.org/2012/01/install-oracle-java-jdk-7-in-ubuntu-via.html