에르의 생각발전소♫

에어팟을 다른 기기에 연결할 때 종종 연결 문제가 발생하고는 합니다.

There is several connection issues occurred when you tried to connect your AirPods with other devices.

그럴때의 대처법에 대해서 다뤄보고자합니다.

방법 1) 에어팟 재등록 및 리셋.

Method 1) Re-register and Reset Your AirPods

이미 등록된 에어팟을 제거해야합니다. 

To do this, You may have to remove(Un-register) your AirPods from connected devices.

'Remove' 클릭으로 기기를 제거합니다.

Mouse right-click then click 'Remove'

그 후,

Then,

에어팟을 페어링 모드로 바꿉니다.

Switch your AirPods as Paring Mode

-페어링 모드 진입법

-How to get into paring Mode.

1. 케이스를 엽니다.

1.Open Your AirPods case.

2. 케이스 뒷면 버튼을 누릅니다.

2. press paring button back of AirPods case.

3. 상태불이 하얀색으로 바뀝니다.

3. states light will turn into white color from red(green) light.

4. 진입 성공

4. accessd paring mode.

이제 사용할 기기에 에어팟에 등록할 차례입니다.

Now it's time to register your AirPods to devices which you want to connect with AirPods 

기기의 블루투스 모드를 켜신 후,

turn bluetooth on at your devices.

블루투스 환경설정에서 보시면 등록가능한 디바이스 목록에서 

open Bluetooth setting panel then you can find AirPods on list the you can connect.

등록하고자하는 에어팟을 찾으실 수 있습니다.

'Connect'를 누르시면 페어링 완료.

then click 'Connect' to pair

문제2) 맥북을 핫스팟 모드로 사용과 동시에 에어팟 사용시 끊김 문제.

matter 2 ) AirPods unstable connection while turning internet sharing on Mac

방법) Internet sharing 탭에서 'Wi-Fi Options...'를 클릭하여 옵션을 변경하여야 합니다.

method ) preference -> sharing -> internet sharing -> unlock locker -> click 'Wi-Fi Options'

보시면 1,6,11과 36,40,44,48의 채널 숫자들이 있습니다.

now you can see numbers of channel tab.

1,6,11은 2.4GHz를 의미하며,

1,6,11 are mean 2.4GHz,

36.40.44.48은 5GHz를 의미합니다.

36.40.44.48 are mean 5GHz.

가정용 무선 인터넷 공유기를 보유하고 계시다면 2.4GHz , 5GHz는 익숙하실텐데요,

if you have wifi device at home then ' 2.4GHz , 5GHz ' might be familiar to you.

문제는 2.4GHz로 설정 후 다른 기기에서 노트북의 핫스팟으로 붙으면

2.4GHz signal interrupts bluetooth signal when other device using Mac's internet signal.

무선 신호끼리의 간섭 때문인지 에어팟의 연결이 불안정하며 수시로 끊깁니다.

그럴땐,

5GHz 채널대로 재설정해주시면 됩니다.

you may want to change Wi-Fi channel as 5GHz from 2.4GHz for avoiding interruptions between bluetooth and internet sharing.

그 후에는 원활히 작동하는 에어팟을 보실 수 있습니다.

Then it would works fine.!

기존의 마하링크 제품을 버리고, 

써멀 컴파운드 계의 손흥민 " MX-4 "를 구매했습니다. 

i dropped previous thermal compound which is called Mach Link(?). .

i purchased " MX-4" from Coupang as 9bugs with Rocket Delivery Service.

( 가격 약 9000원 쿠팡 로켓배송)

늘 그렇듯이 하판을 분리해주시고,

Please disjoint bottom of Mac.

맥북 각인 위쪽 2개의 나사는 몸통이 짧아 따로 보관해야된다고 말씀드렸죠?

i mentioned you might want to keep two screw above of MacBook Pro print

cuz their length are shorter than others.

대충 슥슥 분해하면, 뚝 나옵니다. 

이전 재도포때의 결과물입니다.

상태가 저러니 온도가 떨어질수가 없던 환경이었던거죠.

You can see the result from last time.

thermal compound could perform its own role properly and awful skill to apply.

다시 알콜솜으로 슥-삭 슥! 닦아줍시다.

물티슈를 사용해도되나, 매우 섬세한 컨트롤이 필요하며,

알콜솜으로 닦을때도 힘 조절에 신경써야합니다.

힘을 많이 주게되면, 알콜이 솜에서 나와 

뚝-뚝 떨어집니다.

Please wipe out with alcohol cotton that you have.

Don't Press To hard, Cuz Alcohol might leak out into hardware.

You can use water wipes if you don't have one 

but have to wipe very cautiously. 

이전에 저는 펜 청소를 결심했습니다.

일단 빨간색 화살표가 가르키는 두 나사를 풀어주시고 위로 살살 올리시면 분해가 됩니다.

그럼 비로소, 파란 화살표가 가르키는 나사를 풀 수 있습니다만,

너무 높게들어버리면 부러질수도있으니 매우 주의하세요.

This time, i decided to clean the fan as well.

disjoint the component which is red arrow point.

then you can disjoint the screw that blue arrow point.

Do not band it over too much.

(사진은 청소 후의 사진입니다.)

( Photo from cleaning up)

안쓰는 솔로 다 긁어내고, 청소기로 다 빨아들였습니다!

i used un-use brush, and sucked it with vacuums. 

자 이제 재-도포의 시간이왔습니다.

패스츄리가 동봉되어 있네요.

now it's time to unpack the thermal compound which is packed with scoop.

뒷면에는 우리 짱짱 좋으니 더 사주세요! 하는 소개문구네요.

적당히 재도포 후 결합을 하는데,

이때 cpu 주위의 4개 나사들을 0.5~0.9바퀴정도 모자르게 결합하세요.

그 이유는 나사들을 꽉 조이게되면, cpu와 동판사이에 써멀 컴파운드가 밀려나

재 역할을 하고싶어도 할 수가 없습니다.

그럼 바르나마나, 말짱 도루묵인거죠.

apply the thermal compound with scoop whatever way you want.

then. re-joint 4 screw surround cpu and left 0.5~0.9 turns left.

The reason is thermal compound will be pushed by pressure than you provide to cpu cover if you turned them all.

Thus left the space between cpu and cover to let thermal compound can be existed between them.

자 이제 온도 1시간과 7일치 그래프입니다.

아무리 헤비하게, 작업을 돌려도 쉽게 80도가 넘어가지않습니다.

(Node.js + Vscode + Docker + Chorme Devtools )

스타크래프트 정도는 돌려줘야 85~90도가 나옵니다.

now you can see the result from the graph.

Mac can eject the heat properly while i'm running Node.js + Vscode + Docker + Chrome Devtools.

cpu might hit 85~95 if you played StarCraft. :)

이제 발열에 여유가 생겨, 사용시 마다 수동으로 최고 RPM인 6199로 설정해줄 필요가 없어졌습니다.

덤으로 펜을 청소하고나서 소음도 사라지고 발열도 빠릿빠릿 잘잡아주네요.

써멀 컴파운드 두번 사서 쓰세요! 만원 투자할 가치가 매-우 충분합니다.

Now we can be relaxed from the heat. 

don't need to set the fan speed as maximum manually every time when you use Mac.

Please re-appliy Themal Compound if your Mac have fever abnormally.

it have much valuable than 9bugs.

1) 위 사진은 24시간으로 CPU온도 히스토리를 보여줍니다. 100에 근접하는 저 수치들이 보이시나요?

자 이제 분해를 해봅시다. 

쿠팡에서 구매한 저렴한 가격대의 써멀 구리스입니다. ( 10p  약 5천원)

그리고 기존의 서멀 구리스를 닦을 알코올 솜도 준비해주세요.

1.2 육각 드라이버로 하판을 분리하셔야합니다만,

중요한건 맥북프로 라이팅 상단 2개의 나사는 다른 나사를 보다 짧습니다.

유의하시고 구분하여 놓으셔야합니다.

하판 분해를 끝낸 모습니다.

분해전의 Cpu입니다. 

원래는 저 나사들 위에 고무캡이 붙어있는데 한번 때면 다시 붙힐 수 없습니다. ( 물론 가능은 합니다만, 매우 어려움)

3년만에 열어봅니다.

기존의 서머구리스 도포 상태를 보니까... 그닥 썩 잘발랐다고는 할 수 없을꺼같기도하고,, 많이 말랐나 싶기도하네요.

알콜솜으로 잘 닦아줍니다. 

팁) 알콜솜을 서멀 구리스위에 살짝 눌러주면 알코올에 기존의 서멀구리스가 닦기 쉽게 녹습니다.

새로 도포한 모습인데 아무리 생각해도 많이 바른거같네요;;

사실 도포 방법에 대해 이슈가 많은데요.

맥북 프로 모델은 보시는 것과 같이 가로 세로로 길게 늘어난 형태라

라인따라 도포해주는게 베스트라고 생각합니다.

 [ 결합 모습 ]

튀어나온 서멀구리스는 그대로 내버려둡시다.

조립은 분해의 역순.

모든 기능이 정상적으로 작동하는지 확인하시고, 잘 사용하시면 되겠습니다.

막상 해보니 너무 쉬워서 허무하네요.

눈에 띄는 큰 기대는 하기 어려울 것 같습니다.

아무래도 싸구려 써멀구리스를 쓴 이유가 없지않아있는것같은데 

더 써봐야될 것 같네요.

지난 시간동안 우리는 하둡을 설치와 예제 실현을 통해 정상적으로 인스톨됨을 확인한 바가 있다.

2018/02/10 - [프로그래밍발전소 ♫/Hadoop발전소♫] - OSX에 Hadoop 설치하기 (ver 1)

2018/02/11 - [분류 전체보기] - OSX에 Hadoop 설치하기 (ver 2)

이번에는 하둡용 어플을 만들어보기전에 우리가 지지고볶고 해야될 데이터가 필요하기 때문에

데이터를 다운받아보도록합시다. 

stat-computing.org에서 Download the Data를 클릭하시고~

그럼 1987~2008까지의 데이터들을 다운받아야겠죠? 허나 수기로 일일이 다운받는다면..

무슨 프로그래밍하는 사람의로써의 의미가 있겠습니까..

저번에 써먹었던 wget 명령어를 활용해 쉘을 만들어봅시다.

  1 #!/bin/sh

  2 

  3 for((i=1987; i<=2009;i++))

  4 do

  5 wget http://stat-computing.org/dataexpo/2009/${i}.csv.bz2

  6 done

~                                                                               

~                                                                               

~                                                                               

~                                                                               

위에같이 for문으로 1987~2009까지 지정해주고 wget메소드를 활용하고 중간에 파라미터를 집어넣어서 저 쉘을 실행시키면 

설정해준 기간까지의 데이터를 다운받게끔 진행합시다.  실행하기전에 chmod 777로 실행권한을 줘야합니다.                                                                              

==================================================================================================

~                                        

LoganLeeui-MacBook-Pro:hadoop Logan$ ./download.sh 

--2018-02-11 14:54:05--  http://stat-computing.org/dataexpo/2009/1987.csv.bz2

Resolving stat-computing.org... 54.231.168.223

Connecting to stat-computing.org|54.231.168.223|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 12652442 (12M) [application/x-bzip2]

Saving to: '1987.csv.bz2'

1987.csv.bz2           100%[============================>]  12.07M  18.1MB/s    in 0.7s    

2018-02-11 14:54:07 (18.1 MB/s) - '1987.csv.bz2' saved [12652442/12652442]

--2018-02-11 14:54:07--  http://stat-computing.org/dataexpo/2009/1988.csv.bz2

Resolving stat-computing.org... 54.231.168.223

Connecting to stat-computing.org|54.231.168.223|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 49499025 (47M) [application/x-bzip2]

Saving to: '1988.csv.bz2'

1988.csv.bz2           100%[============================>]  47.21M   305KB/s    in 69s     

2018-02-11 14:55:16 (701 KB/s) - '1988.csv.bz2' saved [49499025/49499025]

--2018-02-11 14:55:16--  http://stat-computing.org/dataexpo/2009/1989.csv.bz2

Resolving stat-computing.org... 52.218.200.91

Connecting to stat-computing.org|52.218.200.91|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 49202298 (47M) [application/x-bzip2]

Saving to: '1989.csv.bz2'

1989.csv.bz2           100%[============================>]  46.92M   712KB/s    in 32s     

2018-02-11 14:55:49 (1.45 MB/s) - '1989.csv.bz2' saved [49202298/49202298]

--2018-02-11 14:55:49--  http://stat-computing.org/dataexpo/2009/1990.csv.bz2

Resolving stat-computing.org... 52.218.208.107

Connecting to stat-computing.org|52.218.208.107|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 52041322 (50M) [application/x-bzip2]

Saving to: '1990.csv.bz2'

1990.csv.bz2           100%[============================>]  49.63M  1.79MB/s    in 21s     

2018-02-11 14:56:11 (2.36 MB/s) - '1990.csv.bz2' saved [52041322/52041322]

--2018-02-11 14:56:11--  http://stat-computing.org/dataexpo/2009/1991.csv.bz2

Resolving stat-computing.org... 54.231.168.215

Connecting to stat-computing.org|54.231.168.215|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 49877448 (48M) [application/x-bzip2]

Saving to: '1991.csv.bz2'

1991.csv.bz2           100%[============================>]  47.57M   555KB/s    in 71s     

2018-02-11 14:57:23 (686 KB/s) - '1991.csv.bz2' saved [49877448/49877448]

--2018-02-11 14:57:23--  http://stat-computing.org/dataexpo/2009/1992.csv.bz2

Resolving stat-computing.org... 52.218.201.35

Connecting to stat-computing.org|52.218.201.35|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 50040946 (48M) [application/x-bzip2]

Saving to: '1992.csv.bz2'

1992.csv.bz2           100%[============================>]  47.72M  1.67MB/s    in 23s     

2018-02-11 14:57:46 (2.08 MB/s) - '1992.csv.bz2' saved [50040946/50040946]

--2018-02-11 14:57:46--  http://stat-computing.org/dataexpo/2009/1993.csv.bz2

Resolving stat-computing.org... 54.231.168.167

Connecting to stat-computing.org|54.231.168.167|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 50111774 (48M) [application/x-bzip2]

Saving to: '1993.csv.bz2'

1993.csv.bz2           100%[============================>]  47.79M   716KB/s    in 68s     

2018-02-11 14:58:55 (722 KB/s) - '1993.csv.bz2' saved [50111774/50111774]

--2018-02-11 14:58:55--  http://stat-computing.org/dataexpo/2009/1994.csv.bz2

Resolving stat-computing.org... 52.218.193.179

Connecting to stat-computing.org|52.218.193.179|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 51123887 (49M) [application/x-bzip2]

Saving to: '1994.csv.bz2'

1994.csv.bz2           100%[============================>]  48.75M   761KB/s    in 27s     

2018-02-11 14:59:22 (1.80 MB/s) - '1994.csv.bz2' saved [51123887/51123887]

--2018-02-11 14:59:23--  http://stat-computing.org/dataexpo/2009/1995.csv.bz2

Resolving stat-computing.org... 54.231.184.167

Connecting to stat-computing.org|54.231.184.167|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 74881752 (71M) [application/x-bzip2]

Saving to: '1995.csv.bz2'

1995.csv.bz2           100%[============================>]  71.41M   938KB/s    in 87s     

2018-02-11 15:00:51 (839 KB/s) - '1995.csv.bz2' saved [74881752/74881752]

--2018-02-11 15:00:51--  http://stat-computing.org/dataexpo/2009/1996.csv.bz2

Resolving stat-computing.org... 52.218.200.99

Connecting to stat-computing.org|52.218.200.99|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 75887707 (72M) [application/x-bzip2]

Saving to: '1996.csv.bz2'

1996.csv.bz2           100%[============================>]  72.37M  2.15MB/s    in 56s     

2018-02-11 15:01:48 (1.28 MB/s) - '1996.csv.bz2' saved [75887707/75887707]

--2018-02-11 15:01:48--  http://stat-computing.org/dataexpo/2009/1997.csv.bz2

Resolving stat-computing.org... 52.218.192.235

Connecting to stat-computing.org|52.218.192.235|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 76705687 (73M) [application/x-bzip2]

Saving to: '1997.csv.bz2'

1997.csv.bz2           100%[============================>]  73.15M   976KB/s    in 39s     

2018-02-11 15:02:27 (1.87 MB/s) - '1997.csv.bz2' saved [76705687/76705687]

--2018-02-11 15:02:27--  http://stat-computing.org/dataexpo/2009/1998.csv.bz2

Resolving stat-computing.org... 52.218.128.15

Connecting to stat-computing.org|52.218.128.15|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 76683506 (73M) [application/x-bzip2]

Saving to: '1998.csv.bz2'

1998.csv.bz2           100%[============================>]  73.13M   249KB/s    in 2m 8s   

2018-02-11 15:04:36 (585 KB/s) - '1998.csv.bz2' saved [76683506/76683506]

--2018-02-11 15:04:36--  http://stat-computing.org/dataexpo/2009/1999.csv.bz2

Resolving stat-computing.org... 52.218.193.219

Connecting to stat-computing.org|52.218.193.219|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 79449438 (76M) [application/x-bzip2]

Saving to: '1999.csv.bz2'

1999.csv.bz2           100%[============================>]  75.77M  1.59MB/s    in 53s     

2018-02-11 15:05:30 (1.43 MB/s) - '1999.csv.bz2' saved [79449438/79449438]

--2018-02-11 15:05:30--  http://stat-computing.org/dataexpo/2009/2000.csv.bz2

Resolving stat-computing.org... 52.218.192.211

Connecting to stat-computing.org|52.218.192.211|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 82537924 (79M) [application/x-bzip2]

Saving to: '2000.csv.bz2'

2000.csv.bz2           100%[============================>]  78.71M  2.95MB/s    in 62s     

2018-02-11 15:06:32 (1.28 MB/s) - '2000.csv.bz2' saved [82537924/82537924]

--2018-02-11 15:06:32--  http://stat-computing.org/dataexpo/2009/2001.csv.bz2

Resolving stat-computing.org... 52.218.144.59

Connecting to stat-computing.org|52.218.144.59|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 83478700 (80M) [application/x-bzip2]

Saving to: '2001.csv.bz2'

2001.csv.bz2           100%[============================>]  79.61M   539KB/s    in 5m 14s  

2018-02-11 15:11:47 (259 KB/s) - '2001.csv.bz2' saved [83478700/83478700]

--2018-02-11 15:11:47--  http://stat-computing.org/dataexpo/2009/2002.csv.bz2

Resolving stat-computing.org... 54.231.168.163

Connecting to stat-computing.org|54.231.168.163|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 75907218 (72M) [application/x-bzip2]

Saving to: '2002.csv.bz2'

2002.csv.bz2           100%[============================>]  72.39M   778KB/s    in 2m 12s  

2018-02-11 15:14:00 (560 KB/s) - '2002.csv.bz2' saved [75907218/75907218]

--2018-02-11 15:14:00--  http://stat-computing.org/dataexpo/2009/2003.csv.bz2

Resolving stat-computing.org... 52.218.192.59

Connecting to stat-computing.org|52.218.192.59|:80... connected.

HTTP request sent, awaiting response... 200 OK

Length: 95326801 (91M) [application/x-bzip2]

Saving to: '2003.csv.bz2'

2003.csv.bz2            66%[==================>          ]  60.82M  1.14MB/s    eta 14s

// 보시는것과 같이 다운로드가 진행되고있음을 알 수 있습니다. 압축형식은 bz2 형식이네요/.

==================================================================================================

이제 압축을 풀어봅시다.

 bzip2 -d *.bz2

LoganLeeui-MacBook-Pro:original Logan$ ls

1987.csv 1990.csv 1993.csv 1996.csv 1999.csv 2002.csv 2005.csv 2008.csv

1988.csv 1991.csv 1994.csv 1997.csv 2000.csv 2003.csv 2006.csv

1989.csv 1992.csv 1995.csv 1998.csv 2001.csv 2004.csv 2007.csv

==================================================================================================

-lsr로 확인해보고 이상이 없으면 클리어!

hdfs에 hadoop-evn.sh을 넣어놓고 wordcount 예제를 돌려보자.

LoganLeeui-MacBook-Pro:hadoop Logan$ hadoop jar hadoop-examples-1.2.1.jar wordcount conf/hadoop-env.sh output

18/02/10 03:25:11 INFO input.FileInputFormat: Total input paths to process : 1

18/02/10 03:25:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

18/02/10 03:25:11 WARN snappy.LoadSnappy: Snappy native library not loaded

18/02/10 03:25:11 INFO mapred.JobClient: Running job: job_201802100324_0001

18/02/10 03:25:12 INFO mapred.JobClient:  map 0% reduce 0%

18/02/10 03:25:15 INFO mapred.JobClient:  map 100% reduce 0%

18/02/10 03:32:44 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_0, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:32:44 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:32:44 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:40:14 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_1, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:40:14 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:40:14 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:47:45 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_2, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:47:45 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:47:45 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:55:18 INFO mapred.JobClient: Job complete: job_201802100324_0001

18/02/10 03:55:18 INFO mapred.JobClient: Counters: 20

18/02/10 03:55:18 INFO mapred.JobClient:   Map-Reduce Framework

18/02/10 03:55:18 INFO mapred.JobClient:     Combine output records=178

18/02/10 03:55:18 INFO mapred.JobClient:     Spilled Records=178

18/02/10 03:55:18 INFO mapred.JobClient:     Map output materialized bytes=3151

18/02/10 03:55:18 INFO mapred.JobClient:     Map input records=62

18/02/10 03:55:18 INFO mapred.JobClient:     SPLIT_RAW_BYTES=116

18/02/10 03:55:18 INFO mapred.JobClient:     Map output records=306

18/02/10 03:55:18 INFO mapred.JobClient:     Map output bytes=3856

18/02/10 03:55:18 INFO mapred.JobClient:     Combine input records=306

18/02/10 03:55:18 INFO mapred.JobClient:     Total committed heap usage (bytes)=179306496

18/02/10 03:55:18 INFO mapred.JobClient:   File Input Format Counters 

18/02/10 03:55:18 INFO mapred.JobClient:     Bytes Read=2676

18/02/10 03:55:18 INFO mapred.JobClient:   FileSystemCounters

18/02/10 03:55:18 INFO mapred.JobClient:     HDFS_BYTES_READ=2792

18/02/10 03:55:18 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=60256

18/02/10 03:55:18 INFO mapred.JobClient:   Job Counters 

18/02/10 03:55:18 INFO mapred.JobClient:     Launched map tasks=1

18/02/10 03:55:18 INFO mapred.JobClient:     Launched reduce tasks=4

18/02/10 03:55:18 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=7072

18/02/10 03:55:18 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0

18/02/10 03:55:18 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=3591

18/02/10 03:55:18 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0

18/02/10 03:55:18 INFO mapred.JobClient:     Failed reduce tasks=1

18/02/10 03:55:18 INFO mapred.JobClient:     Data-local map tasks=1

저번편을 참고하면, 마지막에 wordcount예제를 돌릴려는 도중에 에러가 발생했었다.

Task Id : attempt_201802100324_0001_r_000000_0, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

이 에러는 보통 쓰레드를 초과했을 때 나는거라고 하는데 용량이 얼마하지도않는 hadoop-env.sh에서 쓰레드 초과가 나는건 아니니,

말이 안되는것이고 
WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

문제점은 이놈이 확실해 보인다. 흔히들 말하는 map 100% reduce 0% 에러인데, 

mapper에서 reducer로 처리된 데이터를 보내는 과정 중에 shuffle이라는 과정을 거치게되는데 

이때 리듀서와 통신 에러가 나는 것이다.

그럼 뭐가 문제인걸까...ssh localhost로 해보았을 때, 문제가 없다...

그렇다면 블로깅하면서 설정파일을 내가 만졌을까? 그건 아니지싶다.

무언가가 엉킨것같은데 모르겠다. 고로 필자는 하둡을 지웠다.

hadoop-data도 지웠고

추후 설정에서는 hadoop-data폴더를 hadoop-1.2.1폴더안에 넣었다.

그리고 설치편에서 진행했던 과정을 모두 진행하고 wordcount를 실행해보았다.

LoganLeeui-MacBook-Pro:hadoop Logan$ hadoop jar hadoop-examples-1.2.1.jar wordcount conf/hadoop-env.sh output_

18/02/10 19:52:25 INFO input.FileInputFormat: Total input paths to process : 1

18/02/10 19:52:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

18/02/10 19:52:25 WARN snappy.LoadSnappy: Snappy native library not loaded

18/02/10 19:52:25 INFO mapred.JobClient: Running job: job_201802101951_0001

18/02/10 19:52:26 INFO mapred.JobClient:  map 0% reduce 0%

18/02/10 19:52:29 INFO mapred.JobClient:  map 100% reduce 0%

18/02/10 19:52:36 INFO mapred.JobClient:  map 100% reduce 33%

18/02/10 19:52:38 INFO mapred.JobClient:  map 100% reduce 100%

18/02/10 19:52:38 INFO mapred.JobClient: Job complete: job_201802101951_0001

18/02/10 19:52:38 INFO mapred.JobClient: Counters: 26

18/02/10 19:52:38 INFO mapred.JobClient:   Map-Reduce Framework

18/02/10 19:52:38 INFO mapred.JobClient:     Spilled Records=346

18/02/10 19:52:38 INFO mapred.JobClient:     Map output materialized bytes=2979

18/02/10 19:52:38 INFO mapred.JobClient:     Reduce input records=173

18/02/10 19:52:38 INFO mapred.JobClient:     Map input records=59

18/02/10 19:52:38 INFO mapred.JobClient:     SPLIT_RAW_BYTES=116

18/02/10 19:52:38 INFO mapred.JobClient:     Map output bytes=3700

18/02/10 19:52:38 INFO mapred.JobClient:     Reduce shuffle bytes=2979

18/02/10 19:52:38 INFO mapred.JobClient:     Reduce input groups=173

18/02/10 19:52:38 INFO mapred.JobClient:     Combine output records=173

18/02/10 19:52:38 INFO mapred.JobClient:     Reduce output records=173

18/02/10 19:52:38 INFO mapred.JobClient:     Map output records=302

18/02/10 19:52:38 INFO mapred.JobClient:     Combine input records=302

18/02/10 19:52:38 INFO mapred.JobClient:     Total committed heap usage (bytes)=308281344

18/02/10 19:52:38 INFO mapred.JobClient:   File Input Format Counters 

18/02/10 19:52:38 INFO mapred.JobClient:     Bytes Read=2532

18/02/10 19:52:38 INFO mapred.JobClient:   FileSystemCounters

18/02/10 19:52:38 INFO mapred.JobClient:     HDFS_BYTES_READ=2648

18/02/10 19:52:38 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=127735

18/02/10 19:52:38 INFO mapred.JobClient:     FILE_BYTES_READ=2979

18/02/10 19:52:38 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=2283

18/02/10 19:52:38 INFO mapred.JobClient:   Job Counters 

18/02/10 19:52:38 INFO mapred.JobClient:     Launched map tasks=1

18/02/10 19:52:38 INFO mapred.JobClient:     Launched reduce tasks=1

18/02/10 19:52:38 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8086

18/02/10 19:52:38 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0

18/02/10 19:52:38 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=3033

18/02/10 19:52:38 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0

18/02/10 19:52:38 INFO mapred.JobClient:     Data-local map tasks=1

18/02/10 19:52:38 INFO mapred.JobClient:   File Output Format Counters 

18/02/10 19:52:38 INFO mapred.JobClient:     Bytes Written=2283

LoganLeeui-MacBook-Pro:hadoop Logan$ hadoop jar hadoop-examples-1.2.1.jar wordcount conf/hadoop-env.sh output_2

18/02/11 09:37:54 INFO input.FileInputFormat: Total input paths to process : 1

18/02/11 09:37:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

18/02/11 09:37:54 WARN snappy.LoadSnappy: Snappy native library not loaded

18/02/11 09:37:54 INFO mapred.JobClient: Running job: job_201802101951_0002

18/02/11 09:37:55 INFO mapred.JobClient:  map 0% reduce 0%

18/02/11 09:37:58 INFO mapred.JobClient:  map 100% reduce 0%

18/02/11 09:38:05 INFO mapred.JobClient:  map 100% reduce 33%

18/02/11 09:38:06 INFO mapred.JobClient:  map 100% reduce 100%

18/02/11 09:38:08 INFO mapred.JobClient: Job complete: job_201802101951_0002

18/02/11 09:38:08 INFO mapred.JobClient: Counters: 26

18/02/11 09:38:08 INFO mapred.JobClient:   Map-Reduce Framework

18/02/11 09:38:08 INFO mapred.JobClient:     Spilled Records=346

18/02/11 09:38:08 INFO mapred.JobClient:     Map output materialized bytes=2979

18/02/11 09:38:08 INFO mapred.JobClient:     Reduce input records=173

18/02/11 09:38:08 INFO mapred.JobClient:     Map input records=59

18/02/11 09:38:08 INFO mapred.JobClient:     SPLIT_RAW_BYTES=116

18/02/11 09:38:08 INFO mapred.JobClient:     Map output bytes=3700

18/02/11 09:38:08 INFO mapred.JobClient:     Reduce shuffle bytes=2979

18/02/11 09:38:08 INFO mapred.JobClient:     Reduce input groups=173

18/02/11 09:38:08 INFO mapred.JobClient:     Combine output records=173

18/02/11 09:38:08 INFO mapred.JobClient:     Reduce output records=173

18/02/11 09:38:08 INFO mapred.JobClient:     Map output records=302

18/02/11 09:38:08 INFO mapred.JobClient:     Combine input records=302

18/02/11 09:38:08 INFO mapred.JobClient:     Total committed heap usage (bytes)=308281344

18/02/11 09:38:08 INFO mapred.JobClient:   File Input Format Counters 

18/02/11 09:38:08 INFO mapred.JobClient:     Bytes Read=2532

18/02/11 09:38:08 INFO mapred.JobClient:   FileSystemCounters

18/02/11 09:38:08 INFO mapred.JobClient:     HDFS_BYTES_READ=2648

18/02/11 09:38:08 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=127733

18/02/11 09:38:08 INFO mapred.JobClient:     FILE_BYTES_READ=2979

18/02/11 09:38:08 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=2283

18/02/11 09:38:08 INFO mapred.JobClient:   Job Counters 

18/02/11 09:38:08 INFO mapred.JobClient:     Launched map tasks=1

18/02/11 09:38:08 INFO mapred.JobClient:     Launched reduce tasks=1

18/02/11 09:38:08 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8102

18/02/11 09:38:08 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0

18/02/11 09:38:08 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=3325

18/02/11 09:38:08 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0

18/02/11 09:38:08 INFO mapred.JobClient:     Data-local map tasks=1

18/02/11 09:38:08 INFO mapred.JobClient:   File Output Format Counters 

18/02/11 09:38:08 INFO mapred.JobClient:     Bytes Written=2283

결과는 드디어 성공이었다.

hadoop fs -lsr

drwxr-xr-x   - Logan supergroup          0 2018-02-10 19:52 /user/Logan/conf

-rw-r--r--   1 Logan supergroup       2532 2018-02-10 19:52 /user/Logan/conf/hadoop-env.sh

drwxr-xr-x   - Logan supergroup          0 2018-02-10 19:52 /user/Logan/output_

-rw-r--r--   1 Logan supergroup          0 2018-02-10 19:52 /user/Logan/output_/_SUCCESS

drwxr-xr-x   - Logan supergroup          0 2018-02-10 19:52 /user/Logan/output_/_logs

drwxr-xr-x   - Logan supergroup          0 2018-02-10 19:52 /user/Logan/output_/_logs/history

-rw-r--r--   1 Logan supergroup      11699 2018-02-10 19:52 /user/Logan/output_/_logs/history/job_201802101951_0001_1518259945223_Logan_word+count

-rw-r--r--   1 Logan supergroup      53374 2018-02-10 19:52 /user/Logan/output_/_logs/history/job_201802101951_0001_conf.xml

-rw-r--r--   1 Logan supergroup       2283 2018-02-10 19:52 /user/Logan/output_/part-r-00000

 hadoop fs -cat output_/part-r-00000

# 38

$HADOOP_BALANCER_OPTS" 1

$HADOOP_DATANODE_OPTS" 1

$HADOOP_HOME/conf/slaves 1

$HADOOP_HOME/logs 1

$HADOOP_JOBTRACKER_OPTS" 1

$HADOOP_NAMENODE_OPTS" 1

$HADOOP_SECONDARYNAMENODE_OPTS" 1

$USER 1

'man 1

(fs, 1

-o 1

/tmp 1

1000. 1

A 1

All 1

CLASSPATH 1

Command 1

ConnectTimeout=1 1

Default 1

Empty 2

Extra 3

File 1

HADOOP_BALANCER_OPTS="-Dcom.sun.management.jmxremote 1

HADOOP_CLASSPATH= 1

HADOOP_CLIENT_OPTS 1

HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote 1

HADOOP_HEAPSIZE=2000 1

HADOOP_HOME_WARN_SUPPRESS=1 1

HADOOP_IDENT_STRING=$USER 1

HADOOP_JOBTRACKER_OPTS="-Dcom.sun.management.jmxremote 1

HADOOP_LOG_DIR=${HADOOP_HOME}/logs 1

HADOOP_MASTER=master:/home/$USER/src/hadoop 1

HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote 1

HADOOP_NICENESS=10 1

HADOOP_OPTS 1

HADOOP_OPTS=-server 1

HADOOP_PID_DIR=/var/hadoop/pids 1

HADOOP_SECONDARYNAMENODE_OPTS="-Dcom.sun.management.jmxremote 1

HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves 1

HADOOP_SLAVE_SLEEP=0.1 1

HADOOP_SSH_OPTS="-o 1

HADOOP_TASKTRACKER_OPTS= 1

Hadoop-specific 1

JAVA_HOME 1

JAVA_HOME. 1

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home 1

Java 2

MB. 1

NOTE: 1

Optional. 1

Otherwise 1

Required. 1

Seconds 1

See 1

SendEnv=HADOOP_CONF_DIR" 1

Set 1

Suppessing 1

The 6

This 1

Unset 2

Warning 1

When 1

Where 1

a 3

amount 1

appended 1

applies 1

are 4

arrive 1

attack. 1

be 4

best 1

between 1

by 9

can 4

clusters, 1

code 1

commands 1

commands. 1

configuration 1

correctly 1

daemon 1

daemons. 1

default. 8

defined 1

dfs, 1

directory 2

distcp 1

distributed 1

e.g., 1

elements. 1

environment 2

etc) 1

export 20

faster 1

file, 1

files 2

following 1

for 2

from. 1

fsck, 1

going 1

hadoop 2

hadoop. 1

heap 1

here. 1

host:path 1

hosts. 1

implementation 1

in 3

instance 1

is 5

it 2

java 1

large 1

log 1

master 1

maximum 1

multiple 1

naming 1

nice'. 1

nodes. 1

of 2

on 1

only 2

optional. 1

options 1

options. 2

others 1

otherwise 1

pid 1

potential 1

priority 1

processes. 1

remote 2

representing 1

required 1

rsync'd 1

rsyncs 1

run 1

running 1

runtime 1

scheduling 1

service 1

set 2

should 2

slave 3

sleep 1

so 1

specific 1

specified 1

ssh 1

stored. 2

string 1

symlink 1

than 1

that 3

the 4

them. 1

there 1

this 3

to 9

use, 1

use. 1

useful 1

users 1

variable 1

variables 1

when 1

where 2

where, 1

written 1

정상적으로 출력된다. 

궁금점이 있다면 댓글에 남겨주길 바란다.

사양이 괜찮던 데스크탑에서 우분투 가상환경로 하둡 공부를 했었는데, 

수료 후에 집에 있는건 맥북 뿐인지라... 맥북에서라도 하둡을 공부하고자하여 설치할려고 했었으나

brew로 인스톨 시 알수없는 에러 때문에 무한히 삽질하다가,,, 다른 방법을 찾아 블로그에 기록으로 남겨

나와 같은 고통받는 사람이 그나마 좀 적었으면 하는 바람이다.

필자는 하둡1을 다운받을 예정이다.

(필자는 이미 설치를 완료하였기 때문에 이점을 유의하고 진행하길 바란다.)

(하둡 환경변수 또한 이미 설정되어있다.)

http://apache.tt.co.kr/hadoop/common/stable1/

위 주소에서 하둡을 다운받을 수 있다.

hadoop-1.2.1.tar.gz 링크의 주소를 복사해서 터미널에서 진행한다.

터미널에서 wget 명령어를 통해 해당 링크의 아이템을 다운받는데 물론 마우스클릭으로 받아도 상관은 없다.

쭈루루룩... 다운이 받아지는 중이고 

결과품은 홈 디렉토리에 위치하고있을것이다.

이제 압축을 풀어보자 

tar xzvf hadoop-1.2.1.tar.gz  

압축을 풀면 

hadoop-1.2.1이라는 폴더가 생기고

이 폴더에 심볼로 hadoop을 생성해주자

ln -s hadoop-1.2.1 hadoop

(이유는 나중에 환경변수 등등 일일이 -1.2.1을 타이핑해주기 귀찮기 때문에...)

자 이제 하둡설치가 끝났다.!

그럼 이제 환경설정을 담당해야한다.

하둡에는 3가지 모드가 있다.

독립모드에서는 hdfs가 필요없고 로컬에서 바로 진행된다.

우리는 몇대의 컴퓨터가 집에 있는 것도아니고 하둡에 대해 잘알아서 테스트 디버깅용으로 필요한것이 아니기 때문에

가상분산모드로 진행한다.

(따로 모드를 선택하는 장치나 옵션은 없다.

환경설정 내용에 따라 모드가 갈린다.)

내용으로 돌아와서 conf안에는 환결설정 파일들로 가득하다.

이중에서 우리가 만져야될 파일은

hadoop-env.sh

mapped-site.xml

slaves

masters

core-site.xml

hdfs-site.xml

총 6개이다.

차근차근히 따라오길 바라며, 처음 접한다면 수기로 직접 작성해보길 바란다.

=============================================

hadoop-env.sh에서 할일은 자바 경로를 잡아주는것과 실행시 일어날 워닝을 잡아주는 구문이나

라인11은 선택사항이다.

(자바설치 경로가 기억나지않는다면

위 명령어로 조회할 수 있다)

==================================================

core-site.xml

=========================================

hdfs-site.xml

8번은 복제옵션을 지칭하며 9번은 복사갯수를 정한다.

================================================

mapped-site.xml

잡트래커 옵션을 준다

==============================================

마지막으로 slaves와 masters에는 localhost라고 막 적는다.

================================================

실행전

hadoop namenode -format 명령어로 네임노드를 포맷시켜주고 실행하여야한다.

모든 설정이 정상적으로 이루어졌다면 start-all.sh을 실행시켜보라

로그를 보았을때 어디서 무엇이 실행되는지 보이지 않는가?

모든 노드들과 트래커들이 실행된 모습.

이제 예제를 실행시켜보고 문제가 없으면 사용에 준비는 끝났다.

hdfs에 hadoop-evn.sh을 넣어놓고 wordcount 예제를 돌려보자.

LoganLeeui-MacBook-Pro:hadoop Logan$ hadoop jar hadoop-examples-1.2.1.jar wordcount conf/hadoop-env.sh output

18/02/10 03:25:11 INFO input.FileInputFormat: Total input paths to process : 1

18/02/10 03:25:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

18/02/10 03:25:11 WARN snappy.LoadSnappy: Snappy native library not loaded

18/02/10 03:25:11 INFO mapred.JobClient: Running job: job_201802100324_0001

18/02/10 03:25:12 INFO mapred.JobClient:  map 0% reduce 0%

18/02/10 03:25:15 INFO mapred.JobClient:  map 100% reduce 0%

18/02/10 03:32:44 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_0, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:32:44 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:32:44 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:40:14 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_1, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:40:14 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:40:14 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:47:45 INFO mapred.JobClient: Task Id : attempt_201802100324_0001_r_000000_2, Status : FAILED

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

18/02/10 03:47:45 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:47:45 WARN mapred.JobClient: Error reading task outputConnection refused (Connection refused)

18/02/10 03:55:18 INFO mapred.JobClient: Job complete: job_201802100324_0001

18/02/10 03:55:18 INFO mapred.JobClient: Counters: 20

18/02/10 03:55:18 INFO mapred.JobClient:   Map-Reduce Framework

18/02/10 03:55:18 INFO mapred.JobClient:     Combine output records=178

18/02/10 03:55:18 INFO mapred.JobClient:     Spilled Records=178

18/02/10 03:55:18 INFO mapred.JobClient:     Map output materialized bytes=3151

18/02/10 03:55:18 INFO mapred.JobClient:     Map input records=62

18/02/10 03:55:18 INFO mapred.JobClient:     SPLIT_RAW_BYTES=116

18/02/10 03:55:18 INFO mapred.JobClient:     Map output records=306

18/02/10 03:55:18 INFO mapred.JobClient:     Map output bytes=3856

18/02/10 03:55:18 INFO mapred.JobClient:     Combine input records=306

18/02/10 03:55:18 INFO mapred.JobClient:     Total committed heap usage (bytes)=179306496

18/02/10 03:55:18 INFO mapred.JobClient:   File Input Format Counters 

18/02/10 03:55:18 INFO mapred.JobClient:     Bytes Read=2676

18/02/10 03:55:18 INFO mapred.JobClient:   FileSystemCounters

18/02/10 03:55:18 INFO mapred.JobClient:     HDFS_BYTES_READ=2792

18/02/10 03:55:18 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=60256

18/02/10 03:55:18 INFO mapred.JobClient:   Job Counters 

18/02/10 03:55:18 INFO mapred.JobClient:     Launched map tasks=1

18/02/10 03:55:18 INFO mapred.JobClient:     Launched reduce tasks=4

18/02/10 03:55:18 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=7072

18/02/10 03:55:18 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0

18/02/10 03:55:18 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=3591

18/02/10 03:55:18 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0

18/02/10 03:55:18 INFO mapred.JobClient:     Failed reduce tasks=1

18/02/10 03:55:18 INFO mapred.JobClient:     Data-local map tasks=1

mapper가 일을 끝내고 reducer한테 전해줄 때 통신에러가 있는 듯 하다...

(원래 안그랬는데 글 쓰다가 다시 생겼다...)

해결편 보러가기

필자는 마스터가 될 리눅스는 GUI로 다운받고 클러스터가 될 아이들은 server용으로 다운받았다.

실행했다. 그 이유는 결국은 사양문제이고 클러스터 처리과정은 물론 터미널로도 가능하니, 

마스터에서 자원을 슬레이브들이 공유하여, 하둡을 작동케하려고한다.

별거없다 계속 예예예예예만하면된다.

모르면 그냥 디폴트 값으로 가자.

이름을 잘 지어줘야한다.

괜히 잘못지어줬다가 재설치를 했다. 

잘못준이름을 바꿀려면 머리가 깨진다.

총 설치과정을 보여주는 리스트이며 개별로 선택이 가능하다.

물론 위에서 아래로 진행된다.

GRUB Boot Loader를 쓰겠냐는 말인데 

필자는 쓰겠다고했다.

예예예

물론 한국도 선택가능하다만, 필자는 영어가 더 좋다.

패스

키보드 설정인데 no로 했다.

잘 지어주어야한다.

계정설정

비밀번호가 약하다고 쓸꺼야? 라고하지만 물론 학습용이라면 상관없다.

홈 디렉토리 암호화할레? 아니!!

타임존 설정.

디폴트로!

 여기서 LVM이란?

 Logical Volume Manager를 의미한다.

더 자세한 설명을 원한다면 아래를 방문하기를 추천한다.

http://kit2013.tistory.com/199

프록시안쓸꺼니까 놉!

디폴트로 해주자.

그리고 또 vmware tool 깔아야한다.

ssh를 통해 하둡을 연동할것이기 때문에 체크해줬다

스페이스바로 체크가능.

여기까지만 한다면

마스터1개 슬레이브2개 총 3개의 vm을 맥북에 설치했다.

필자는 vmware Fusion을 이용했다.

다음엔 자바 설치와 하둡 설치 등등 핵심내용을 다뤄보고자한다.

레퍼러스 문서가 조금 구버전이라 놀라긴했다만,

1. Download Java 1.7 JDK and install it

2. Install protobuf 2.5.0 via Homebrew. Refer to link

$ brew tap homebrew/versions
$ brew install protobuf250
$ brew link --force --overwrite protobuf250
$ protoc --version
libprotoc 2.5.0

brew 로 손쉽게 다운받는게 이 얼마나 고마운 일인가.

3. Install cmake via Homebrew

$ brew install cmake

4. Install Hadoop 2.7.2 via Homebrew

$ brew install hadoop

심지어 하둡도 브루로 다운받을 수 있다니 세상에나...

5. Update Hadoop’s native libraries. Refer to link

$ wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz 
$ tar xvf hadoop-2.7.2-src.tar.gz
$ cd hadoop-2.7.2-src
$ mvn package -Pdist,native -DskipTests -Dtar
$ mv hadoop-dist/target/hadoop-2.7.2/lib /usr/local/Cellar/hadoop/2.7.2/

하.. 패키징 부분에서 1번 에러가 떳다..

6. Open hadoop-env.sh and add below variables

# /usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/hadoop-env.sh

export HADOOP_HOME="/usr/local/Cellar/hadoop/2.7.2"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

7. Edit core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

8. Edit hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

9. Activate Remote Login option. Refer to this link

10. Set passphraseless ssh

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost

11. Format filesystem

$ hdfs namenode -format

12. Execute NameNode daemon, DataNode daemon

$ /usr/local/Cellar/hadoop/2.7.2/sbin/start-dfs.sh

13. Stop NameNode daemon, DataNode daemon

$ /usr/local/Cellar/hadoop/2.7.2/sbin/stop-dfs.sh

안녕하세요~ 생각발전소 소장 에르입니다~ 

3월초에 이루어진 7.5패치 이후로 한국어 패치가 적용된 클라이언트를 통해 서버에 접속하시는 분들에게는

"명시되지않은 오류가 발생하였습니다." 라는 이 악마같은 문구가 보이심과 동시에 게임 진행이 안되실겁니다.

일단 응급처지 부분은 블로그에 올려놓았으나,

나는 정말 진심으로 아무리 번거롭더라도 한국어로 게임을 즐기고 싶다는 분들꼐 알려드리는 정보이나,

굳이 저는 한국어를 포기하고 외국인 코스프레나, 침묵은 금이다 라는 마음으로 핑커뮤 능력을 발전시키는 쪽에 투자하고싶습니다.

일단 각설하고 시작하겠습니다.

1.일단 클라이언트를 실행시킵니다. 실행하기전에 프로퍼티는 한국서버로 그대로 두되, locale파일은 오세아니로 해주셔야합니다. locale = en_AU

자, 이 클라이언트가 보이면 이 상태에서 멈추시고, 파인더로 돌아갑시다.

2. 롤 클라이언트 지역설정! 

3. 클라이언트를 들어가고 나서의 홈 부분이과 각종 UI를 담당하는 부분입니다.

그리고 아까 클라이언트 실행화면에서 당당히 LAUNCH를 눌러줍시다!

2016/12/05 - [정보발전소♫] - 파일)맥북에서 롤 돌리기!

2016/12/08 - [정보발전소♫] - 정보) 맥북으로 롤 접속 최신패치 적용버전! 명시되지않은오류 해결법!

2016/12/18 - [정보발전소♫] - 맥북으로 롤 한국서버 구동 동영상.

2017/01/05 - [정보발전소♫] - 17년1월5일 맥북으로 한글판 롤 하기 완전판!

2017/03/13 - [정보발전소♫] - 맥북 롤 패치 이후 명시되지않은 오류 ......

이번에는 몇일전 패치 이후로 맥북으로 롤을 하시는 유저분들이 바로.. 

"명시되지않은 오류" 크리를 거의 99%분들이 맞으셨을거라고 예상되는데요.

저도 똑같은 상황을 겪으면서 복구부터 시작해서, 재설치까지하고 뭐가 문젠지 다~ 찾아보니 

결론은 예전과 같이 한국서버측에서 한글패치가 된 OS X의 롤 접속을 클라이언트에서부터 차단하고 있는 것 같아요.

그래서, 하는 수 없이 방법은 한글을 포기한채로 게임을 즐기는 것이 현재까지의 최선의 솔루션입니다..

일단 롤에서 이 콘텐츠의 패키지 파일 열기를 클릭해주시고

Contents ======> LoL ======> RADS ======> system ======> locale.cfg 파일을 찾아서 텍스트편집기로 실행시켜주시고

그전에 locale = ko_KR 로 되있던 텍스트를 위와 같이 locale = en_au 로 변경해주시고

command + s 를 눌러 저장해주세요.

오세아니아로 서버가 설정되어있고, 구런쳐로 실행이 됩니다.

로그인화면부터 다 오세아니아 버전이지만

걱정하지마시고

한국서버 아이디치시고 로그인하시면 됩니다~        

그럼 위와 같은 한국서버 초기화면으로 넘어가는데 여기서만보면 한글패치된 것과 다름이 없어보이지만..

막상 큐를 돌릴려고 들어가보면, 다 영어로 표기가 됩니다.

다~ 그냥 다! 영어에요.

PS. 게임에서 한국어를 치면 ■ ■ ■ ■ ■ ■ ■ ■ ■  이런식으로 나오고 

픽창에서 팀원의 이름이 한글이면 아예 보이지않습니다.

픽창에서 한글 입력 또한 되지 않습니다.

2017/01/05 - [정보발전소♫] - 17년1월5일 맥북으로 한글판 롤 하기 완전판!

2016/12/17 - [정보발전소♫] - 맥북으로 롤 한국서버 구동 동영상.

2016/12/08 - [정보발전소♫] - 정보) 맥북으로 롤 접속 최신패치 적용버전! 명시되지않은오류 해결법!

2016/12/04 - [정보발전소♫] - 파일)맥북에서 롤 돌리기!