Nalee와 함께 떠나는 IT이야기

오랜만에 다시 Hadoop을 테스트하기 위해 Shell 창을 열어 Hadoop명령어를 치려니 왠지 뭔가 생소하게 느껴지는 것이 새롭다. 오늘은 그 동안 삽질하면서 설치한 Hadoop에 책에서 나오는 코딩 된 HDFS 소스 파일들을 컴파일하고 실행하는 방법을 남겨보고자 한다. 그리고, 이번 테스트를 하면서 앞에서 실수한 부분을 다시 수정하고자 한다. 앞에서 하둡을 설치할 때 나는 자바 버전을 1.7 버전으로 설치를 하였었다. 그런데, 자바파일 컴파일을 하는 과정에서 컴파일이 되지 않고 컴파일은 되었다 할지라도 실행과정에서 java version 이 맞지 않는다는 오류를 발견할 수 있었다. 그래서, 하둡 홈폴더에 있는 build.xml 파일을 확인해서 보니, 자바버전이 1.6 버전으로 되어 있다는 것을 알았..

나는 이런 Hadoop 명령어 정리를 해 놓은 블로그나 웹사이트를 검색할 수 없었기 때문에 블로그로 정리해 공유하고자 한다. 실은 이것보다도 더 큰 이유는 몇일동안 Hadoop을 공부하면서 왜 서버를 내렸다 올리면 HDFS가 실행이 안 될까? 하는 의문을 가졌기 때문이다. 구글링을 해보고 책을 봐도 특별한 해답이 보이질 않았는데, 오늘 드디어 그 비밀을 알아냈다. 하둡 설치 폴더에서 hadoop을 보면 hadoop은 스크립트 파일이다. 특정 언어로 프로그래밍한 것이 아니라, 단순한 Linux Shell Script 라는 것이다. hadoop 명령을 그냥 치면 다음과 같이 hadoop 명령어들이 나오는데, 해답은 저 명령어 안에 있었다. 그래서 오늘은 hadoop 명령어들을 한번 정리해 보도록 하겠다. U..

오늘은 지난 시간에 이어 여기 저기 블로그를 뒤져 가면서 Hadoop 환경설정을 한번 해 보았다. 실은 지난 시간에 설치한 Hadoop을 오늘 테스트 해 보았는데 계속 접속이 안되어서 오늘 새로 설치를 했다. ㅠ 그래서 잃어버릴지 몰라 Hadoop 환경설정에 대한 내용을 간단하게 정리하도록 하겠다. 1. Hadoop > conf > core-site.xml 에 다음과 같이 입력한 후 저장한다. 2. Hadoop > conf > hdfs-site.xml 에 다음과 같이 입력한 후 저장한다. 3. Hadoop > conf > mapred-site.xml 에 다음과 같이 입력하고 저장한다. 4. 이번에는 SSH를 한번 설정해 보자. 다음과 같이 입력한다. ssh-keygen –t rsa 위와 같이 입력을 하고..

작년 10월 무렵에 하둡을 한번 설치를 해 본적이 있었다. 그때는 메뉴얼도 잘 안나와 있고, 무슨 소리인지 잘 몰라서 고개만 갸우뚱거리다가 그냥 넘어갔는데, 요번에 하둡을 다시 설치해 볼일이 생겨 구글링을 해 보니 작년하고 다르게 쉬운 메뉴얼들이 많이 나와 있었다. 그래서, 가장 간단하면서도 빠르고 쉽게 하둡을 설치할 수 있는 방법을 글로 적어보도록 하겠다. 대부분의 리눅스에는 OpenJDK가 설치되어 있다. 하둡은 자바이기 때문에, 자바를 함께 설치를 해야하는데 sun jdk가 가장 궁합이 잘 맞는다고 한다. 그래서, 이번에는 Ubuntu에 자바 설치하는 것부터 삽질해 보았다. 1. Sun jdk1.7을 설치한다. Oracle jdk7을 설치해야하는줄 알았는데, 나중에 프로그래밍을 하는데 Java Ve..

나는 얼마전부터 국민강사 김미경 원장님의 eclass 온라인 강좌를 듣기 시작했다. 요즘 듣고 있는 강좌는 아트 스피치 강좌 중 실전편으로 오늘 들게 된 강의에 스테이쳐코리아 한국 지사장이 나와서 스피치를 하고 김미경 원장님에게 코칭을 받는 과정이다. 그런데 이분이 스피치 주제로 한 것이 바로 Dirty Electricity였다. 그래서 내용을 듣다 보니 지금 내가 연구하고 있는 홈 클라우드와도 밀접한 관련이 있겠구나? 하는 생각이 문득 스치고 지나갔다. 그래서 요 Dirty Electricity에 대해 구글신과 네이버에게 물어보았다. Dirty Electricity는 쉽게 말해 그냥 "전자파"라는 생각을 하면 된다. 우리가 주변에서 쉽게 찾아 볼 수 있는 생활가전제품들~ 그리고, 일할때 늘 보고 있는 ..

저는 작년 9월부터 클라우드라는 업무를 접하면서 아직도 클라우드 안에서 놀고 있는 30대 직장인입니다. 그럼과 동시에 한 아이의 엄마이자 한 남자의 아내요~!! 그 이름은 바로 주부입니다. 요즘 제가 관심있게 지켜 보고, 연구하고 있는 것 중 하나가 바로 홈 클라우드입니다. 아무래도 주부이다 보니, 가족 중심의 집안에서 편리하게 클라우드를 활용할 방법은 없을까? 하고 생각한 것이 바로 홈 클라우드였습니다. 요즘은 가전제품들이 점점 똑똑해 지고 있습니다. 스마트폰을 넘어 스마트 TV, 스마트 냉장고, 스마트 청소기, 스마트 카메라, 스마트 세탁기까지 모든 전자제품 앞에 스마트가 붙기 시작하였고, 그것들은 모두 인터넷 즉 wifi가 되고 있다는 것입니다. 그럼, 대체 클라우드는 무엇인가? 라는 말을 많이 하..