Stand-Alone Hadoop 환경설정

오늘은 지난 시간에 이어 여기 저기 블로그를 뒤져 가면서 Hadoop 환경설정을 한번 해 보았다. 실은 지난 시간에 설치한 Hadoop을 오늘 테스트 해 보았는데 계속 접속이 안되어서 오늘 새로 설치를 했다. ㅠ 그래서 잃어버릴지 몰라 Hadoop 환경설정에 대한 내용을 간단하게 정리하도록 하겠다.

1.     Hadoop > conf > core-site.xml 에 다음과 같이 입력한 후 저장한다.

2.     Hadoop > conf > hdfs-site.xml 에 다음과 같이 입력한 후 저장한다.

3.     Hadoop > conf > mapred-site.xml 에 다음과 같이 입력하고 저장한다.

 

4.     이번에는 SSH를 한번 설정해 보자. 다음과 같이 입력한다.

ssh-keygen –t rsa

 

위와 같이 입력을 하고 Enter를 계속 치면 아래와 같이 key가 발급될 것이다.

5.     그럼 생성한 키를 ~/.ssh/authorized_keys 폴더에 복사를 한다.

 

그럼 ssh 설정이 제대로 되었는지 localhost로 다음과 같이 접속을 해본다.

 

6.     이제는 네임 노드를 포맷팅한다. 이것만 하면 드디어 환경설정이 끝이 났다. 이제 하둡을 실행하고 Web UI를 확인해 보자.

 

7.     Hadoop를 실행하는 명령어들은 다음과 같다.

$ start-all.sh       //HDFS와 맵리듀스 모두 실행 $ start-mapred.sh  //맵리듀스만 실행 $ start-dfs.sh      //HDFS만 실행   $ stop-all.sh       //HDFS와 맵리듀스 모두 중단 $ stop-mapred.sh  //맵리듀스만 중단 $ stop-dfs.sh      //HDFS만 중단

 

위의 명령어들은 hadoop을 설치한 폴더의 bin 디렉토리에 가면 위에서 본 명령어들을 확인할 수 있다.

 

8.     그럼 이제 Hadoop 을 실행해 보자.

 

9.     이제 맵리듀스의 Web UI와 HDFS의 Web UI를 확인할 수 있다.

-      맵리듀스 Web UI (http://localhost:50030)

-      HDFS Web UI (http://localhost:50070)

10.  Web UI를 모두 확인해 보았다. 그럼 디렉토리를 만들어 보고, 데이터를 복사해 보고, 해당 데이터의 단어 개수를 체크하는 테스트를 한번 해보자.

 

-      abc라는 디렉토리를 생성한다.

hadoop dfs –mkdir abc

Web UI를 통해서 확인해 보라. 방금 생성한 abc라는 디렉토리가 보일것이다.

 

-      이번에는 미리 만들어 놓은 whyhadoop.txt 라는 파일을 한번 올려보자.

hadoop dfs –put whyhadoop.txt abc/

올린 파일도 Web UI를 통해 확인해 볼 수 있다.

-      마지막으로 올린 파일의 단어 개수를 한번 세어보자

hadoop jar hadoop-1.0.3/hadoop-examples-1.0.3.jar wordcount abc out

MapReduce 결과 단어의 개수는 총 585개란다.

 

참조 블로그 : http://blog.acronym.co.kr/329

http://imdsoho.tistory.com/entry/Hadoop-%EC%84%A4%EC%B9%98#recentTrackback