'프로그래밍발전소 ♫/Hadoop발전소♫' 카테고리의 글 목록

프로그래밍발전소 ♫/Hadoop발전소♫에 해당되는 글 4건

하둡 어플 만들기-1

프로그래밍발전소 ♫/Hadoop발전소♫

지난 시간동안 우리는 하둡을 설치와 예제 실현을 통해 정상적으로 인스톨됨을 확인한 바가 있다.

2018/02/10 - [프로그래밍발전소 ♫/Hadoop발전소♫] - OSX에 Hadoop 설치하기 (ver 1)

2018/02/11 - [분류 전체보기] - OSX에 Hadoop 설치하기 (ver 2)

이번에는 하둡용 어플을 만들어보기전에 우리가 지지고볶고 해야될 데이터가 필요하기 때문에

데이터를 다운받아보도록합시다.

stat-computing.org에서 Download the Data를 클릭하시고~

그럼 1987~2008까지의 데이터들을 다운받아야겠죠? 허나 수기로 일일이 다운받는다면..

무슨 프로그래밍하는 사람의로써의 의미가 있겠습니까..

저번에 써먹었던 wget 명령어를 활용해 쉘을 만들어봅시다.

1 #!/bin/sh

2

3 for((i=1987; i<=2009;i++))

4 do

5 wget http://stat-computing.org/dataexpo/2009/${i}.csv.bz2

6 done

~

위에같이 for문으로 1987~2009까지 지정해주고 wget메소드를 활용하고 중간에 파라미터를 집어넣어서 저 쉘을 실행시키면

설정해준 기간까지의 데이터를 다운받게끔 진행합시다. 실행하기전에 chmod 777로 실행권한을 줘야합니다.

==================================================================================================

~

LoganLeeui-MacBook-Pro:hadoop Logan$ ./download.sh

--2018-02-11 14:54:05-- http://stat-computing.org/dataexpo/2009/1987.csv.bz2

Resolving stat-computing.org... 54.231.168.223

Connecting to stat-computing.org|54.231.168.223|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 12652442 (12M) [application/x-bzip2]

Saving to: '1987.csv.bz2'

1987.csv.bz2 100%[============================>] 12.07M 18.1MB/s in 0.7s

2018-02-11 14:54:07 (18.1 MB/s) - '1987.csv.bz2' saved [12652442/12652442]

--2018-02-11 14:54:07-- http://stat-computing.org/dataexpo/2009/1988.csv.bz2

Resolving stat-computing.org... 54.231.168.223

Connecting to stat-computing.org|54.231.168.223|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 49499025 (47M) [application/x-bzip2]

Saving to: '1988.csv.bz2'

1988.csv.bz2 100%[============================>] 47.21M 305KB/s in 69s

2018-02-11 14:55:16 (701 KB/s) - '1988.csv.bz2' saved [49499025/49499025]

--2018-02-11 14:55:16-- http://stat-computing.org/dataexpo/2009/1989.csv.bz2

Resolving stat-computing.org... 52.218.200.91

Connecting to stat-computing.org|52.218.200.91|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 49202298 (47M) [application/x-bzip2]

Saving to: '1989.csv.bz2'

1989.csv.bz2 100%[============================>] 46.92M 712KB/s in 32s

2018-02-11 14:55:49 (1.45 MB/s) - '1989.csv.bz2' saved [49202298/49202298]

--2018-02-11 14:55:49-- http://stat-computing.org/dataexpo/2009/1990.csv.bz2

Resolving stat-computing.org... 52.218.208.107

Connecting to stat-computing.org|52.218.208.107|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 52041322 (50M) [application/x-bzip2]

Saving to: '1990.csv.bz2'

1990.csv.bz2 100%[============================>] 49.63M 1.79MB/s in 21s

2018-02-11 14:56:11 (2.36 MB/s) - '1990.csv.bz2' saved [52041322/52041322]

--2018-02-11 14:56:11-- http://stat-computing.org/dataexpo/2009/1991.csv.bz2

Resolving stat-computing.org... 54.231.168.215

Connecting to stat-computing.org|54.231.168.215|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 49877448 (48M) [application/x-bzip2]

Saving to: '1991.csv.bz2'

1991.csv.bz2 100%[============================>] 47.57M 555KB/s in 71s

2018-02-11 14:57:23 (686 KB/s) - '1991.csv.bz2' saved [49877448/49877448]

--2018-02-11 14:57:23-- http://stat-computing.org/dataexpo/2009/1992.csv.bz2

Resolving stat-computing.org... 52.218.201.35

Connecting to stat-computing.org|52.218.201.35|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 50040946 (48M) [application/x-bzip2]

Saving to: '1992.csv.bz2'

1992.csv.bz2 100%[============================>] 47.72M 1.67MB/s in 23s

2018-02-11 14:57:46 (2.08 MB/s) - '1992.csv.bz2' saved [50040946/50040946]

--2018-02-11 14:57:46-- http://stat-computing.org/dataexpo/2009/1993.csv.bz2

Resolving stat-computing.org... 54.231.168.167

Connecting to stat-computing.org|54.231.168.167|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 50111774 (48M) [application/x-bzip2]

Saving to: '1993.csv.bz2'

1993.csv.bz2 100%[============================>] 47.79M 716KB/s in 68s

2018-02-11 14:58:55 (722 KB/s) - '1993.csv.bz2' saved [50111774/50111774]

--2018-02-11 14:58:55-- http://stat-computing.org/dataexpo/2009/1994.csv.bz2

Resolving stat-computing.org... 52.218.193.179

Connecting to stat-computing.org|52.218.193.179|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 51123887 (49M) [application/x-bzip2]

Saving to: '1994.csv.bz2'

1994.csv.bz2 100%[============================>] 48.75M 761KB/s in 27s

2018-02-11 14:59:22 (1.80 MB/s) - '1994.csv.bz2' saved [51123887/51123887]

--2018-02-11 14:59:23-- http://stat-computing.org/dataexpo/2009/1995.csv.bz2

Resolving stat-computing.org... 54.231.184.167

Connecting to stat-computing.org|54.231.184.167|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 74881752 (71M) [application/x-bzip2]

Saving to: '1995.csv.bz2'

1995.csv.bz2 100%[============================>] 71.41M 938KB/s in 87s

2018-02-11 15:00:51 (839 KB/s) - '1995.csv.bz2' saved [74881752/74881752]

--2018-02-11 15:00:51-- http://stat-computing.org/dataexpo/2009/1996.csv.bz2

Resolving stat-computing.org... 52.218.200.99

Connecting to stat-computing.org|52.218.200.99|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 75887707 (72M) [application/x-bzip2]

Saving to: '1996.csv.bz2'

1996.csv.bz2 100%[============================>] 72.37M 2.15MB/s in 56s

2018-02-11 15:01:48 (1.28 MB/s) - '1996.csv.bz2' saved [75887707/75887707]

--2018-02-11 15:01:48-- http://stat-computing.org/dataexpo/2009/1997.csv.bz2

Resolving stat-computing.org... 52.218.192.235

Connecting to stat-computing.org|52.218.192.235|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 76705687 (73M) [application/x-bzip2]

Saving to: '1997.csv.bz2'

1997.csv.bz2 100%[============================>] 73.15M 976KB/s in 39s

2018-02-11 15:02:27 (1.87 MB/s) - '1997.csv.bz2' saved [76705687/76705687]

--2018-02-11 15:02:27-- http://stat-computing.org/dataexpo/2009/1998.csv.bz2

Resolving stat-computing.org... 52.218.128.15

Connecting to stat-computing.org|52.218.128.15|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 76683506 (73M) [application/x-bzip2]

Saving to: '1998.csv.bz2'

1998.csv.bz2 100%[============================>] 73.13M 249KB/s in 2m 8s

2018-02-11 15:04:36 (585 KB/s) - '1998.csv.bz2' saved [76683506/76683506]

--2018-02-11 15:04:36-- http://stat-computing.org/dataexpo/2009/1999.csv.bz2

Resolving stat-computing.org... 52.218.193.219

Connecting to stat-computing.org|52.218.193.219|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 79449438 (76M) [application/x-bzip2]

Saving to: '1999.csv.bz2'

1999.csv.bz2 100%[============================>] 75.77M 1.59MB/s in 53s

2018-02-11 15:05:30 (1.43 MB/s) - '1999.csv.bz2' saved [79449438/79449438]

--2018-02-11 15:05:30-- http://stat-computing.org/dataexpo/2009/2000.csv.bz2

Resolving stat-computing.org... 52.218.192.211

Connecting to stat-computing.org|52.218.192.211|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 82537924 (79M) [application/x-bzip2]

Saving to: '2000.csv.bz2'

2000.csv.bz2 100%[============================>] 78.71M 2.95MB/s in 62s

2018-02-11 15:06:32 (1.28 MB/s) - '2000.csv.bz2' saved [82537924/82537924]

--2018-02-11 15:06:32-- http://stat-computing.org/dataexpo/2009/2001.csv.bz2

Resolving stat-computing.org... 52.218.144.59

Connecting to stat-computing.org|52.218.144.59|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 83478700 (80M) [application/x-bzip2]

Saving to: '2001.csv.bz2'

2001.csv.bz2 100%[============================>] 79.61M 539KB/s in 5m 14s

2018-02-11 15:11:47 (259 KB/s) - '2001.csv.bz2' saved [83478700/83478700]

--2018-02-11 15:11:47-- http://stat-computing.org/dataexpo/2009/2002.csv.bz2

Resolving stat-computing.org... 54.231.168.163

Connecting to stat-computing.org|54.231.168.163|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 75907218 (72M) [application/x-bzip2]

Saving to: '2002.csv.bz2'

2002.csv.bz2 100%[============================>] 72.39M 778KB/s in 2m 12s

2018-02-11 15:14:00 (560 KB/s) - '2002.csv.bz2' saved [75907218/75907218]

--2018-02-11 15:14:00-- http://stat-computing.org/dataexpo/2009/2003.csv.bz2

Resolving stat-computing.org... 52.218.192.59

Connecting to stat-computing.org|52.218.192.59|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 95326801 (91M) [application/x-bzip2]

Saving to: '2003.csv.bz2'

2003.csv.bz2 66%[==================> ] 60.82M 1.14MB/s eta 14s

// 보시는것과 같이 다운로드가 진행되고있음을 알 수 있습니다. 압축형식은 bz2 형식이네요/.

==================================================================================================

이제 압축을 풀어봅시다.

bzip2 -d *.bz2

LoganLeeui-MacBook-Pro:original Logan$ ls

1987.csv 1990.csv 1993.csv 1996.csv 1999.csv 2002.csv 2005.csv 2008.csv

1988.csv 1991.csv 1994.csv 1997.csv 2000.csv 2003.csv 2006.csv

1989.csv 1992.csv 1995.csv 1998.csv 2001.csv 2004.csv 2007.csv

일단 명령어를 실행하면 시간이 걸립니다.

터미널 텝을 열어 확인해본다면, 풀리고 있는 중이라는 걸 아실수있습니다.

==================================================================================================

head -n 10 1987.csv

Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTime,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDelay,SecurityDelay,LateAircraftDelay

1987,10,14,3,741,730,912,849,PS,1451,NA,91,79,NA,23,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,15,4,729,730,903,849,PS,1451,NA,94,79,NA,14,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,17,6,741,730,918,849,PS,1451,NA,97,79,NA,29,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,18,7,729,730,847,849,PS,1451,NA,78,79,NA,-2,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,19,1,749,730,922,849,PS,1451,NA,93,79,NA,33,19,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,21,3,728,730,848,849,PS,1451,NA,80,79,NA,-1,-2,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,22,4,728,730,852,849,PS,1451,NA,84,79,NA,3,-2,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,23,5,731,730,902,849,PS,1451,NA,91,79,NA,13,1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

1987,10,24,6,744,730,908,849,PS,1451,NA,84,79,NA,19,14,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

파일을 살펴보면 1줄에 각각의 데이터가 무엇을 의미하고있는지를 가지고 있습니다.

허나, 데이터 처리과정 중에 에러를 야기할 수 있는 사항이기 때문에 지우도록합시다.

==================================================================================================

1987~2008의 파일들을 만져야하니 커맨드 한줄로도 가능하긴합니다.

sed -e '1d' *.csv > *_modified.csv 처럼...(하지만 이렇게 진행한다면, 제대로 진행되지않습니다. 궁금하신분들은 직접한번!)

허나 추후에 재사용을 위해 쉘을 만들어줍니다.

1 #!/bin/sh

2

3 for((i=1987; i<=2008; i++))

4 do

5 sed -e '1d' ${i}.csv > ${i}_modi.csv

6 done

실행후에 디렉토리를 살펴봅시다.

==================================================================================================

ls

1987.csv 1991.csv 1995.csv 1999.csv 2003.csv 2007.csv

1987_modi.csv 1991_modi.csv 1995_modi.csv 1999_modi.csv 2003_modi.csv 2007_modi.csv

1988.csv 1992.csv 1996.csv 2000.csv 2004.csv 2008.csv

1988_modi.csv 1992_modi.csv 1996_modi.csv 2000_modi.csv 2004_modi.csv 2008_modi.csv

1989.csv 1993.csv 1997.csv 2001.csv 2005.csv sed.sh

1989_modi.csv 1993_modi.csv 1997_modi.csv 2001_modi.csv 2005_modi.csv

1990.csv 1994.csv 1998.csv 2002.csv 2006.csv

1990_modi.csv 1994_modi.csv 1998_modi.csv 2002_modi.csv 2006_modi.csv

짜잔,

==================================================================================================

이제 원본유지를 위해 나누어줍시다.

ls

1987_modi.csv 1991_modi.csv 1995_modi.csv 1999_modi.csv 2003_modi.csv 2007_modi.csv

1988_modi.csv 1992_modi.csv 1996_modi.csv 2000_modi.csv 2004_modi.csv 2008_modi.csv

1989_modi.csv 1993_modi.csv 1997_modi.csv 2001_modi.csv 2005_modi.csv

1990_modi.csv 1994_modi.csv 1998_modi.csv 2002_modi.csv 2006_modi.csv

==================================================================================================

hadoop fs -mkdir input

hdfs에 데이터를 집어넣을 폴더를 만들어줍니다.

==================================================================================================

fs -put ~/dataexpo/original/*.csv input

LoganLeeui-MacBook-Pro:~ Logan$ hadoop fs -ls

Found 4 items

drwxr-xr-x - Logan supergroup 0 2018-02-10 19:52 /user/Logan/conf

drwxr-xr-x - Logan supergroup 0 2018-02-14 03:07 /user/Logan/input

drwxr-xr-x - Logan supergroup 0 2018-02-10 19:52 /user/Logan/output_

drwxr-xr-x - Logan supergroup 0 2018-02-11 09:38 /user/Logan/output_2

명령어로 hdfs에 업로드해봅시다.

==================================================================================================

hadoop fs -lsr

drwxr-xr-x - Logan supergroup 0 2018-02-15 15:01 /user/Logan/input

-rw-r--r-- 1 Logan supergroup 127162642 2018-02-15 15:00 /user/Logan/input/1987_modi.csv

-rw-r--r-- 1 Logan supergroup 501039172 2018-02-15 15:00 /user/Logan/input/1988_modi.csv

-rw-r--r-- 1 Logan supergroup 486518521 2018-02-15 15:00 /user/Logan/input/1989_modi.csv

-rw-r--r-- 1 Logan supergroup 509194387 2018-02-15 15:00 /user/Logan/input/1990_modi.csv

-rw-r--r-- 1 Logan supergroup 491209793 2018-02-15 15:00 /user/Logan/input/1991_modi.csv

-rw-r--r-- 1 Logan supergroup 492313431 2018-02-15 15:00 /user/Logan/input/1992_modi.csv

-rw-r--r-- 1 Logan supergroup 490753352 2018-02-15 15:00 /user/Logan/input/1993_modi.csv

-rw-r--r-- 1 Logan supergroup 501558365 2018-02-15 15:00 /user/Logan/input/1994_modi.csv

-rw-r--r-- 1 Logan supergroup 530751268 2018-02-15 15:00 /user/Logan/input/1995_modi.csv

-rw-r--r-- 1 Logan supergroup 533922063 2018-02-15 15:00 /user/Logan/input/1996_modi.csv

-rw-r--r-- 1 Logan supergroup 540347561 2018-02-15 15:00 /user/Logan/input/1997_modi.csv

-rw-r--r-- 1 Logan supergroup 538432575 2018-02-15 15:00 /user/Logan/input/1998_modi.csv

-rw-r--r-- 1 Logan supergroup 552925722 2018-02-15 15:00 /user/Logan/input/1999_modi.csv

-rw-r--r-- 1 Logan supergroup 570151313 2018-02-15 15:00 /user/Logan/input/2000_modi.csv

-rw-r--r-- 1 Logan supergroup 600411162 2018-02-15 15:00 /user/Logan/input/2001_modi.csv

-rw-r--r-- 1 Logan supergroup 530506713 2018-02-15 15:01 /user/Logan/input/2002_modi.csv

-rw-r--r-- 1 Logan supergroup 626744942 2018-02-15 15:01 /user/Logan/input/2003_modi.csv

-rw-r--r-- 1 Logan supergroup 669878813 2018-02-15 15:01 /user/Logan/input/2004_modi.csv

-rw-r--r-- 1 Logan supergroup 671026965 2018-02-15 15:01 /user/Logan/input/2005_modi.csv

-rw-r--r-- 1 Logan supergroup 672067796 2018-02-15 15:01 /user/Logan/input/2006_modi.csv

-rw-r--r-- 1 Logan supergroup 702877893 2018-02-15 15:01 /user/Logan/input/2007_modi.csv

-rw-r--r-- 1 Logan supergroup 689413044 2018-02-15 15:01 /user/Logan/input/2008_modi.csv

-lsr로 확인해보고 이상이 없으면 클리어!

저작자표시 비영리 동일조건

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

OSX에 Hadoop 설치하기 (ver 1) (0)	2018.02.10
가상머신 VM에 리눅스를 설치해보자. 설치편 (0)	2017.11.28
맥북에 하둡 설치하기. (하둡2) (0)	2017.11.21

by 발전소장 에르 :) 2018. 2. 15. 15:03

OSX에 Hadoop 설치하기 (ver 1)

프로그래밍발전소 ♫/Hadoop발전소♫

사양이 괜찮던 데스크탑에서 우분투 가상환경로 하둡 공부를 했었는데,

수료 후에 집에 있는건 맥북 뿐인지라... 맥북에서라도 하둡을 공부하고자하여 설치할려고 했었으나

brew로 인스톨 시 알수없는 에러 때문에 무한히 삽질하다가,,, 다른 방법을 찾아 블로그에 기록으로 남겨

나와 같은 고통받는 사람이 그나마 좀 적었으면 하는 바람이다.

필자는 하둡1을 다운받을 예정이다.

(필자는 이미 설치를 완료하였기 때문에 이점을 유의하고 진행하길 바란다.)

(하둡 환경변수 또한 이미 설정되어있다.)

http://apache.tt.co.kr/hadoop/common/stable1/

위 주소에서 하둡을 다운받을 수 있다.

hadoop-1.2.1.tar.gz 링크의 주소를 복사해서 터미널에서 진행한다.

터미널에서 wget 명령어를 통해 해당 링크의 아이템을 다운받는데 물론 마우스클릭으로 받아도 상관은 없다.

쭈루루룩... 다운이 받아지는 중이고

결과품은 홈 디렉토리에 위치하고있을것이다.

이제 압축을 풀어보자

tar xzvf hadoop-1.2.1.tar.gz

압축을 풀면

hadoop-1.2.1이라는 폴더가 생기고

이 폴더에 심볼로 hadoop을 생성해주자

ln -s hadoop-1.2.1 hadoop

~~(이유는 나중에 환경변수 등등 일일이 -1.2.1을 타이핑해주기 귀찮기 때문에...)~~

자 이제 하둡설치가 끝났다.!

그럼 이제 환경설정을 담당해야한다.

하둡에는 3가지 모드가 있다.

●독립모드(Standalone mode)

데몬 프로세스가 동작하지 않고, 모든것이 단독 JVM 내에서 동작. 개발하는 동안 맵리듀스 프로그램을 동작시키기에 적합한데, 테스트 및 디버깅이 용이.

●가상분산모드(Pseudo-distributed mode)

하둡 데몬 프로세스가 로컬컴퓨터에서 동작하므로 작은 규모의 클러스터를 시뮬레이트 할 수 있다.

●완전분산모드(Fully distributed mode)

하둡 데몬프로세스는 다수 컴퓨터로 구성된 그룹에서 동작한다.

독립모드에서는 hdfs가 필요없고 로컬에서 바로 진행된다.

우리는 몇대의 컴퓨터가 집에 있는 것도아니고 하둡에 대해 잘알아서 테스트 디버깅용으로 필요한것이 아니기 때문에

가상분산모드로 진행한다.

(따로 모드를 선택하는 장치나 옵션은 없다.

환경설정 내용에 따라 모드가 갈린다.)

내용으로 돌아와서 conf안에는 환결설정 파일들로 가득하다.

이중에서 우리가 만져야될 파일은

hadoop-env.sh

mapped-site.xml

slaves

masters

core-site.xml

hdfs-site.xml

총 6개이다.

차근차근히 따라오길 바라며, 처음 접한다면 수기로 직접 작성해보길 바란다.

=============================================

hadoop-env.sh에서 할일은 자바 경로를 잡아주는것과 실행시 일어날 워닝을 잡아주는 구문이나

라인11은 선택사항이다.

(자바설치 경로가 기억나지않는다면

위 명령어로 조회할 수 있다)

==================================================

core-site.xml

=========================================

hdfs-site.xml

8번은 복제옵션을 지칭하며 9번은 복사갯수를 정한다.

================================================

mapped-site.xml

잡트래커 옵션을 준다

==============================================

마지막으로 slaves와 masters에는 localhost라고 막 적는다.

================================================

실행전

hadoop namenode -format 명령어로 네임노드를 포맷시켜주고 실행하여야한다.

모든 설정이 정상적으로 이루어졌다면 start-all.sh을 실행시켜보라

로그를 보았을때 어디서 무엇이 실행되는지 보이지 않는가?

모든 노드들과 트래커들이 실행된 모습.

이제 예제를 실행시켜보고 문제가 없으면 사용에 준비는 끝났다.

hdfs에 hadoop-evn.sh을 넣어놓고 wordcount 예제를 돌려보자.

LoganLeeui-MacBook-Pro:hadoop Logan$ hadoop jar hadoop-examples-1.2.1.jar wordcount conf/hadoop-env.sh output

18/02/10 03:25:11 INFO input.FileInputFormat: Total input paths to process : 1

18/02/10 03:25:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

18/02/10 03:25:11 WARN snappy.LoadSnappy: Snappy native library not loaded

18/02/10 03:25:11 INFO mapred.JobClient: Running job: job_201802100324_0001

18/02/10 03:25:12 INFO mapred.JobClient: map 0% reduce 0%

18/02/10 03:25:15 INFO mapred.JobClient: map 100% reduce 0%

18/02/10 03:32:44 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_0, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:32:44 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:40:14 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_1, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:40:14 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:47:45 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_2, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:47:45 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:55:18 INFO mapred.JobClient: Job complete: job_201802100324_0001

18/02/10 03:55:18 INFO mapred.JobClient: Counters: 20

18/02/10 03:55:18 INFO mapred.JobClient: Map-Reduce Framework

18/02/10 03:55:18 INFO mapred.JobClient: Combine output records=178

18/02/10 03:55:18 INFO mapred.JobClient: Spilled Records=178

18/02/10 03:55:18 INFO mapred.JobClient: Map output materialized bytes=3151

18/02/10 03:55:18 INFO mapred.JobClient: Map input records=62

18/02/10 03:55:18 INFO mapred.JobClient: SPLIT_RAW_BYTES=116

18/02/10 03:55:18 INFO mapred.JobClient: Map output records=306

18/02/10 03:55:18 INFO mapred.JobClient: Map output bytes=3856

18/02/10 03:55:18 INFO mapred.JobClient: Combine input records=306

18/02/10 03:55:18 INFO mapred.JobClient: Total committed heap usage (bytes)=179306496

18/02/10 03:55:18 INFO mapred.JobClient: File Input Format Counters

18/02/10 03:55:18 INFO mapred.JobClient: Bytes Read=2676

18/02/10 03:55:18 INFO mapred.JobClient: FileSystemCounters

18/02/10 03:55:18 INFO mapred.JobClient: HDFS_BYTES_READ=2792

18/02/10 03:55:18 INFO mapred.JobClient: FILE_BYTES_WRITTEN=60256

18/02/10 03:55:18 INFO mapred.JobClient: Job Counters

18/02/10 03:55:18 INFO mapred.JobClient: Launched map tasks=1

18/02/10 03:55:18 INFO mapred.JobClient: Launched reduce tasks=4

18/02/10 03:55:18 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=7072

18/02/10 03:55:18 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0

18/02/10 03:55:18 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=3591

18/02/10 03:55:18 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0

18/02/10 03:55:18 INFO mapred.JobClient: Failed reduce tasks=1

18/02/10 03:55:18 INFO mapred.JobClient: Data-local map tasks=1

mapper가 일을 끝내고 reducer한테 전해줄 때 통신에러가 있는 듯 하다...

(~~원래 안그랬는데 글 쓰다가 다시 생겼다...)~~

해결편 보러가기

저작자표시 비영리 동일조건

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

하둡 어플 만들기-1 (0)	2018.02.15
가상머신 VM에 리눅스를 설치해보자. 설치편 (0)	2017.11.28
맥북에 하둡 설치하기. (하둡2) (0)	2017.11.21

by 발전소장 에르 :) 2018. 2. 10. 17:29

가상머신 VM에 리눅스를 설치해보자. 설치편

프로그래밍발전소 ♫/Hadoop발전소♫

필자는 마스터가 될 리눅스는 GUI로 다운받고 클러스터가 될 아이들은 server용으로 다운받았다.

실행했다. 그 이유는 결국은 사양문제이고 클러스터 처리과정은 물론 터미널로도 가능하니,

마스터에서 자원을 슬레이브들이 공유하여, 하둡을 작동케하려고한다.

별거없다 계속 예예예예예만하면된다.

모르면 그냥 디폴트 값으로 가자.

이름을 잘 지어줘야한다.

괜히 잘못지어줬다가 재설치를 했다.

잘못준이름을 바꿀려면 머리가 깨진다.

총 설치과정을 보여주는 리스트이며 개별로 선택이 가능하다.

물론 위에서 아래로 진행된다.

GRUB Boot Loader를 쓰겠냐는 말인데

필자는 쓰겠다고했다.

예예예

물론 한국도 선택가능하다만, 필자는 영어가 더 좋다.

패스

키보드 설정인데 no로 했다.

잘 지어주어야한다.

계정설정

비밀번호가 약하다고 쓸꺼야? 라고하지만 물론 학습용이라면 상관없다.

홈 디렉토리 암호화할레? 아니!!

타임존 설정.

디폴트로!

여기서 LVM이란?

Logical Volume Manager를 의미한다.

더 자세한 설명을 원한다면 아래를 방문하기를 추천한다.

http://kit2013.tistory.com/199

프록시안쓸꺼니까 놉!

디폴트로 해주자.

그리고 또 vmware tool 깔아야한다.

ssh를 통해 하둡을 연동할것이기 때문에 체크해줬다

스페이스바로 체크가능.

여기까지만 한다면

마스터1개 슬레이브2개 총 3개의 vm을 맥북에 설치했다.

필자는 vmware Fusion을 이용했다.

다음엔 자바 설치와 하둡 설치 등등 핵심내용을 다뤄보고자한다.

저작자표시 비영리 동일조건

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

하둡 어플 만들기-1 (0)	2018.02.15
OSX에 Hadoop 설치하기 (ver 1) (0)	2018.02.10
맥북에 하둡 설치하기. (하둡2) (0)	2017.11.21

by 발전소장 에르 :) 2017. 11. 28. 13:33

맥북에 하둡 설치하기. (하둡2)

프로그래밍발전소 ♫/Hadoop발전소♫

레퍼러스 문서가 조금 구버전이라 놀라긴했다만,

뭐 문제는 없으니까 시작해보도록하자.

1. Download Java 1.7 JDK and install it

하둡 구동에 필요한 자바(개인적으로 현재까지는 자바8을 추천)

2. Install protobuf 2.5.0 via Homebrew. Refer to link

$ brew tap homebrew/versions
$ brew install protobuf250
$ brew link --force --overwrite protobuf250
$ protoc --version
libprotoc 2.5.0

brew 로 손쉽게 다운받는게 이 얼마나 고마운 일인가.

3. Install cmake via Homebrew

$ brew install cmake

4. Install Hadoop 2.7.2 via Homebrew

$ brew install hadoop

심지어 하둡도 브루로 다운받을 수 있다니 세상에나...

5. Update Hadoop’s native libraries. Refer to link

$ wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz 
$ tar xvf hadoop-2.7.2-src.tar.gz
$ cd hadoop-2.7.2-src
$ mvn package -Pdist,native -DskipTests -Dtar
$ mv hadoop-dist/target/hadoop-2.7.2/lib /usr/local/Cellar/hadoop/2.7.2/

하.. 패키징 부분에서 1번 에러가 떳다..

6. Open `hadoop-env.sh` and add below variables

# /usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/hadoop-env.sh

export HADOOP_HOME="/usr/local/Cellar/hadoop/2.7.2"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

7. Edit `core-site.xml`

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

8. Edit `hdfs-site.xml`

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

9. Activate `Remote Login` option. Refer to this link

10. Set passphraseless ssh

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost

11. Format filesystem

$ hdfs namenode -format

12. Execute NameNode daemon, DataNode daemon

$ /usr/local/Cellar/hadoop/2.7.2/sbin/start-dfs.sh

13. Stop NameNode daemon, DataNode daemon

$ /usr/local/Cellar/hadoop/2.7.2/sbin/stop-dfs.sh

저작자표시 비영리 동일조건

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

하둡 어플 만들기-1 (0)	2018.02.15
OSX에 Hadoop 설치하기 (ver 1) (0)	2018.02.10
가상머신 VM에 리눅스를 설치해보자. 설치편 (0)	2017.11.28

by 발전소장 에르 :) 2017. 11. 21. 00:18

에르의 생각발전소♫

검색결과 리스트

프로그래밍발전소 ♫/Hadoop발전소♫에 해당되는 글 4건

글

하둡 어플 만들기-1

설정

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

글

OSX에 Hadoop 설치하기 (ver 1)

설정

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

글

가상머신 VM에 리눅스를 설치해보자. 설치편

설정

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

글

맥북에 하둡 설치하기. (하둡2)

설정

레퍼러스 문서가 조금 구버전이라 놀라긴했다만,

1. Download Java 1.7 JDK and install it

2. Install protobuf 2.5.0 via Homebrew. Refer to link

3. Install cmake via Homebrew

4. Install Hadoop 2.7.2 via Homebrew

5. Update Hadoop’s native libraries. Refer to link

6. Open hadoop-env.sh and add below variables

7. Edit core-site.xml

8. Edit hdfs-site.xml

9. Activate Remote Login option. Refer to this link

10. Set passphraseless ssh

11. Format filesystem

12. Execute NameNode daemon, DataNode daemon

13. Stop NameNode daemon, DataNode daemon

'프로그래밍발전소 ♫ > Hadoop발전소♫' 카테고리의 다른 글

사이드 메뉴

CATEGORY

RECENT POSTS

COUNTER

RECENT COMMENT

RECENT TRACKBACK

ARCHIVE

NOTICE

MY LINK

티스토리툴바

6. Open `hadoop-env.sh` and add below variables

7. Edit `core-site.xml`

8. Edit `hdfs-site.xml`

9. Activate `Remote Login` option. Refer to this link