검색결과 리스트
어플리케이션에 해당되는 글 2건
- 2018.02.15 하둡 어플 만들기-1
- 2016.05.10 160509 영국 배우자비자 결핵검사증명편! PARTNER VISA TB TEST
지난 시간동안 우리는 하둡을 설치와 예제 실현을 통해 정상적으로 인스톨됨을 확인한 바가 있다.
2018/02/10 - [프로그래밍발전소 ♫/Hadoop발전소♫] - OSX에 Hadoop 설치하기 (ver 1)
2018/02/11 - [분류 전체보기] - OSX에 Hadoop 설치하기 (ver 2)
이번에는 하둡용 어플을 만들어보기전에 우리가 지지고볶고 해야될 데이터가 필요하기 때문에
데이터를 다운받아보도록합시다.
stat-computing.org에서 Download the Data를 클릭하시고~
그럼 1987~2008까지의 데이터들을 다운받아야겠죠? 허나 수기로 일일이 다운받는다면..
무슨 프로그래밍하는 사람의로써의 의미가 있겠습니까..
저번에 써먹었던 wget 명령어를 활용해 쉘을 만들어봅시다.
1 #!/bin/sh
2
3 for((i=1987; i<=2009;i++))
4 do
5 wget http://stat-computing.org/dataexpo/2009/${i}.csv.bz2
6 done
~
~
~
~
위에같이 for문으로 1987~2009까지 지정해주고 wget메소드를 활용하고 중간에 파라미터를 집어넣어서 저 쉘을 실행시키면
설정해준 기간까지의 데이터를 다운받게끔 진행합시다. 실행하기전에 chmod 777로 실행권한을 줘야합니다.
==================================================================================================
~
LoganLeeui-MacBook-Pro:hadoop Logan$ ./download.sh
--2018-02-11 14:54:05-- http://stat-computing.org/dataexpo/2009/1987.csv.bz2
Resolving stat-computing.org... 54.231.168.223
Connecting to stat-computing.org|54.231.168.223|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 12652442 (12M) [application/x-bzip2]
Saving to: '1987.csv.bz2'
1987.csv.bz2 100%[============================>] 12.07M 18.1MB/s in 0.7s
2018-02-11 14:54:07 (18.1 MB/s) - '1987.csv.bz2' saved [12652442/12652442]
--2018-02-11 14:54:07-- http://stat-computing.org/dataexpo/2009/1988.csv.bz2
Resolving stat-computing.org... 54.231.168.223
Connecting to stat-computing.org|54.231.168.223|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 49499025 (47M) [application/x-bzip2]
Saving to: '1988.csv.bz2'
1988.csv.bz2 100%[============================>] 47.21M 305KB/s in 69s
2018-02-11 14:55:16 (701 KB/s) - '1988.csv.bz2' saved [49499025/49499025]
--2018-02-11 14:55:16-- http://stat-computing.org/dataexpo/2009/1989.csv.bz2
Resolving stat-computing.org... 52.218.200.91
Connecting to stat-computing.org|52.218.200.91|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 49202298 (47M) [application/x-bzip2]
Saving to: '1989.csv.bz2'
1989.csv.bz2 100%[============================>] 46.92M 712KB/s in 32s
2018-02-11 14:55:49 (1.45 MB/s) - '1989.csv.bz2' saved [49202298/49202298]
--2018-02-11 14:55:49-- http://stat-computing.org/dataexpo/2009/1990.csv.bz2
Resolving stat-computing.org... 52.218.208.107
Connecting to stat-computing.org|52.218.208.107|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 52041322 (50M) [application/x-bzip2]
Saving to: '1990.csv.bz2'
1990.csv.bz2 100%[============================>] 49.63M 1.79MB/s in 21s
2018-02-11 14:56:11 (2.36 MB/s) - '1990.csv.bz2' saved [52041322/52041322]
--2018-02-11 14:56:11-- http://stat-computing.org/dataexpo/2009/1991.csv.bz2
Resolving stat-computing.org... 54.231.168.215
Connecting to stat-computing.org|54.231.168.215|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 49877448 (48M) [application/x-bzip2]
Saving to: '1991.csv.bz2'
1991.csv.bz2 100%[============================>] 47.57M 555KB/s in 71s
2018-02-11 14:57:23 (686 KB/s) - '1991.csv.bz2' saved [49877448/49877448]
--2018-02-11 14:57:23-- http://stat-computing.org/dataexpo/2009/1992.csv.bz2
Resolving stat-computing.org... 52.218.201.35
Connecting to stat-computing.org|52.218.201.35|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 50040946 (48M) [application/x-bzip2]
Saving to: '1992.csv.bz2'
1992.csv.bz2 100%[============================>] 47.72M 1.67MB/s in 23s
2018-02-11 14:57:46 (2.08 MB/s) - '1992.csv.bz2' saved [50040946/50040946]
--2018-02-11 14:57:46-- http://stat-computing.org/dataexpo/2009/1993.csv.bz2
Resolving stat-computing.org... 54.231.168.167
Connecting to stat-computing.org|54.231.168.167|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 50111774 (48M) [application/x-bzip2]
Saving to: '1993.csv.bz2'
1993.csv.bz2 100%[============================>] 47.79M 716KB/s in 68s
2018-02-11 14:58:55 (722 KB/s) - '1993.csv.bz2' saved [50111774/50111774]
--2018-02-11 14:58:55-- http://stat-computing.org/dataexpo/2009/1994.csv.bz2
Resolving stat-computing.org... 52.218.193.179
Connecting to stat-computing.org|52.218.193.179|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 51123887 (49M) [application/x-bzip2]
Saving to: '1994.csv.bz2'
1994.csv.bz2 100%[============================>] 48.75M 761KB/s in 27s
2018-02-11 14:59:22 (1.80 MB/s) - '1994.csv.bz2' saved [51123887/51123887]
--2018-02-11 14:59:23-- http://stat-computing.org/dataexpo/2009/1995.csv.bz2
Resolving stat-computing.org... 54.231.184.167
Connecting to stat-computing.org|54.231.184.167|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 74881752 (71M) [application/x-bzip2]
Saving to: '1995.csv.bz2'
1995.csv.bz2 100%[============================>] 71.41M 938KB/s in 87s
2018-02-11 15:00:51 (839 KB/s) - '1995.csv.bz2' saved [74881752/74881752]
--2018-02-11 15:00:51-- http://stat-computing.org/dataexpo/2009/1996.csv.bz2
Resolving stat-computing.org... 52.218.200.99
Connecting to stat-computing.org|52.218.200.99|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 75887707 (72M) [application/x-bzip2]
Saving to: '1996.csv.bz2'
1996.csv.bz2 100%[============================>] 72.37M 2.15MB/s in 56s
2018-02-11 15:01:48 (1.28 MB/s) - '1996.csv.bz2' saved [75887707/75887707]
--2018-02-11 15:01:48-- http://stat-computing.org/dataexpo/2009/1997.csv.bz2
Resolving stat-computing.org... 52.218.192.235
Connecting to stat-computing.org|52.218.192.235|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 76705687 (73M) [application/x-bzip2]
Saving to: '1997.csv.bz2'
1997.csv.bz2 100%[============================>] 73.15M 976KB/s in 39s
2018-02-11 15:02:27 (1.87 MB/s) - '1997.csv.bz2' saved [76705687/76705687]
--2018-02-11 15:02:27-- http://stat-computing.org/dataexpo/2009/1998.csv.bz2
Resolving stat-computing.org... 52.218.128.15
Connecting to stat-computing.org|52.218.128.15|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 76683506 (73M) [application/x-bzip2]
Saving to: '1998.csv.bz2'
1998.csv.bz2 100%[============================>] 73.13M 249KB/s in 2m 8s
2018-02-11 15:04:36 (585 KB/s) - '1998.csv.bz2' saved [76683506/76683506]
--2018-02-11 15:04:36-- http://stat-computing.org/dataexpo/2009/1999.csv.bz2
Resolving stat-computing.org... 52.218.193.219
Connecting to stat-computing.org|52.218.193.219|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 79449438 (76M) [application/x-bzip2]
Saving to: '1999.csv.bz2'
1999.csv.bz2 100%[============================>] 75.77M 1.59MB/s in 53s
2018-02-11 15:05:30 (1.43 MB/s) - '1999.csv.bz2' saved [79449438/79449438]
--2018-02-11 15:05:30-- http://stat-computing.org/dataexpo/2009/2000.csv.bz2
Resolving stat-computing.org... 52.218.192.211
Connecting to stat-computing.org|52.218.192.211|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 82537924 (79M) [application/x-bzip2]
Saving to: '2000.csv.bz2'
2000.csv.bz2 100%[============================>] 78.71M 2.95MB/s in 62s
2018-02-11 15:06:32 (1.28 MB/s) - '2000.csv.bz2' saved [82537924/82537924]
--2018-02-11 15:06:32-- http://stat-computing.org/dataexpo/2009/2001.csv.bz2
Resolving stat-computing.org... 52.218.144.59
Connecting to stat-computing.org|52.218.144.59|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 83478700 (80M) [application/x-bzip2]
Saving to: '2001.csv.bz2'
2001.csv.bz2 100%[============================>] 79.61M 539KB/s in 5m 14s
2018-02-11 15:11:47 (259 KB/s) - '2001.csv.bz2' saved [83478700/83478700]
--2018-02-11 15:11:47-- http://stat-computing.org/dataexpo/2009/2002.csv.bz2
Resolving stat-computing.org... 54.231.168.163
Connecting to stat-computing.org|54.231.168.163|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 75907218 (72M) [application/x-bzip2]
Saving to: '2002.csv.bz2'
2002.csv.bz2 100%[============================>] 72.39M 778KB/s in 2m 12s
2018-02-11 15:14:00 (560 KB/s) - '2002.csv.bz2' saved [75907218/75907218]
--2018-02-11 15:14:00-- http://stat-computing.org/dataexpo/2009/2003.csv.bz2
Resolving stat-computing.org... 52.218.192.59
Connecting to stat-computing.org|52.218.192.59|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 95326801 (91M) [application/x-bzip2]
Saving to: '2003.csv.bz2'
2003.csv.bz2 66%[==================> ] 60.82M 1.14MB/s eta 14s
// 보시는것과 같이 다운로드가 진행되고있음을 알 수 있습니다. 압축형식은 bz2 형식이네요/.
==================================================================================================
이제 압축을 풀어봅시다.
bzip2 -d *.bz2
LoganLeeui-MacBook-Pro:original Logan$ ls
1987.csv 1990.csv 1993.csv 1996.csv 1999.csv 2002.csv 2005.csv 2008.csv
1988.csv 1991.csv 1994.csv 1997.csv 2000.csv 2003.csv 2006.csv
1989.csv 1992.csv 1995.csv 1998.csv 2001.csv 2004.csv 2007.csv
head -n 10 1987.csv
Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTime,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDelay,SecurityDelay,LateAircraftDelay
1987,10,14,3,741,730,912,849,PS,1451,NA,91,79,NA,23,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,15,4,729,730,903,849,PS,1451,NA,94,79,NA,14,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,17,6,741,730,918,849,PS,1451,NA,97,79,NA,29,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,18,7,729,730,847,849,PS,1451,NA,78,79,NA,-2,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,19,1,749,730,922,849,PS,1451,NA,93,79,NA,33,19,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,21,3,728,730,848,849,PS,1451,NA,80,79,NA,-1,-2,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,22,4,728,730,852,849,PS,1451,NA,84,79,NA,3,-2,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,23,5,731,730,902,849,PS,1451,NA,91,79,NA,13,1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,24,6,744,730,908,849,PS,1451,NA,84,79,NA,19,14,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1 #!/bin/sh
2
3 for((i=1987; i<=2008; i++))
4 do
5 sed -e '1d' ${i}.csv > ${i}_modi.csv
6 done
ls
1987.csv 1991.csv 1995.csv 1999.csv 2003.csv 2007.csv
1987_modi.csv 1991_modi.csv 1995_modi.csv 1999_modi.csv 2003_modi.csv 2007_modi.csv
1988.csv 1992.csv 1996.csv 2000.csv 2004.csv 2008.csv
1988_modi.csv 1992_modi.csv 1996_modi.csv 2000_modi.csv 2004_modi.csv 2008_modi.csv
1989.csv 1993.csv 1997.csv 2001.csv 2005.csv sed.sh
1989_modi.csv 1993_modi.csv 1997_modi.csv 2001_modi.csv 2005_modi.csv
1990.csv 1994.csv 1998.csv 2002.csv 2006.csv
1990_modi.csv 1994_modi.csv 1998_modi.csv 2002_modi.csv 2006_modi.csv
ls
1987_modi.csv 1991_modi.csv 1995_modi.csv 1999_modi.csv 2003_modi.csv 2007_modi.csv
1988_modi.csv 1992_modi.csv 1996_modi.csv 2000_modi.csv 2004_modi.csv 2008_modi.csv
1989_modi.csv 1993_modi.csv 1997_modi.csv 2001_modi.csv 2005_modi.csv
1990_modi.csv 1994_modi.csv 1998_modi.csv 2002_modi.csv 2006_modi.csv
hadoop fs -mkdir input
fs -put ~/dataexpo/original/*.csv input
LoganLeeui-MacBook-Pro:~ Logan$ hadoop fs -ls
Found 4 items
drwxr-xr-x - Logan supergroup 0 2018-02-10 19:52 /user/Logan/conf
drwxr-xr-x - Logan supergroup 0 2018-02-14 03:07 /user/Logan/input
drwxr-xr-x - Logan supergroup 0 2018-02-10 19:52 /user/Logan/output_
drwxr-xr-x - Logan supergroup 0 2018-02-11 09:38 /user/Logan/output_2
==================================================================================================
hadoop fs -lsr
drwxr-xr-x - Logan supergroup 0 2018-02-15 15:01 /user/Logan/input
-rw-r--r-- 1 Logan supergroup 127162642 2018-02-15 15:00 /user/Logan/input/1987_modi.csv
-rw-r--r-- 1 Logan supergroup 501039172 2018-02-15 15:00 /user/Logan/input/1988_modi.csv
-rw-r--r-- 1 Logan supergroup 486518521 2018-02-15 15:00 /user/Logan/input/1989_modi.csv
-rw-r--r-- 1 Logan supergroup 509194387 2018-02-15 15:00 /user/Logan/input/1990_modi.csv
-rw-r--r-- 1 Logan supergroup 491209793 2018-02-15 15:00 /user/Logan/input/1991_modi.csv
-rw-r--r-- 1 Logan supergroup 492313431 2018-02-15 15:00 /user/Logan/input/1992_modi.csv
-rw-r--r-- 1 Logan supergroup 490753352 2018-02-15 15:00 /user/Logan/input/1993_modi.csv
-rw-r--r-- 1 Logan supergroup 501558365 2018-02-15 15:00 /user/Logan/input/1994_modi.csv
-rw-r--r-- 1 Logan supergroup 530751268 2018-02-15 15:00 /user/Logan/input/1995_modi.csv
-rw-r--r-- 1 Logan supergroup 533922063 2018-02-15 15:00 /user/Logan/input/1996_modi.csv
-rw-r--r-- 1 Logan supergroup 540347561 2018-02-15 15:00 /user/Logan/input/1997_modi.csv
-rw-r--r-- 1 Logan supergroup 538432575 2018-02-15 15:00 /user/Logan/input/1998_modi.csv
-rw-r--r-- 1 Logan supergroup 552925722 2018-02-15 15:00 /user/Logan/input/1999_modi.csv
-rw-r--r-- 1 Logan supergroup 570151313 2018-02-15 15:00 /user/Logan/input/2000_modi.csv
-rw-r--r-- 1 Logan supergroup 600411162 2018-02-15 15:00 /user/Logan/input/2001_modi.csv
-rw-r--r-- 1 Logan supergroup 530506713 2018-02-15 15:01 /user/Logan/input/2002_modi.csv
-rw-r--r-- 1 Logan supergroup 626744942 2018-02-15 15:01 /user/Logan/input/2003_modi.csv
-rw-r--r-- 1 Logan supergroup 669878813 2018-02-15 15:01 /user/Logan/input/2004_modi.csv
-rw-r--r-- 1 Logan supergroup 671026965 2018-02-15 15:01 /user/Logan/input/2005_modi.csv
-rw-r--r-- 1 Logan supergroup 672067796 2018-02-15 15:01 /user/Logan/input/2006_modi.csv
-rw-r--r-- 1 Logan supergroup 702877893 2018-02-15 15:01 /user/Logan/input/2007_modi.csv
-rw-r--r-- 1 Logan supergroup 689413044 2018-02-15 15:01 /user/Logan/input/2008_modi.csv
-lsr로 확인해보고 이상이 없으면 클리어!
OSX에 Hadoop 설치하기 (ver 1) (0) | 2018.02.10 |
---|---|
가상머신 VM에 리눅스를 설치해보자. 설치편 (0) | 2017.11.28 |
맥북에 하둡 설치하기. (하둡2) (0) | 2017.11.21 |
안녕하세요 에르의 생각발전소입니다 :)
이번에 포스팅할 주제는 [ 영국 배우자비자를 위한 결핵 검사 증명 ] 입니다 !
망할 비자
아래 사진을 보시죠!
맨 마지막 줄에 your tuberculosis test result if you're from a country where you have to take the test.
안타깝게도 한국은 결핵검사결과를 제출해야하는 국가에 속합니다.
( 요즘 시대에 결핵보기가 얼마나 힘든데 군대도 아니고,,,,)
썡돈 9만원과 황금같은 시간만 주구장창 깨지게 생겼어요.
하아..
뭐,, 영국이민국에서 그렇게 말을 하니...
까라면 까야지요..
국민포털 네이버에 들어가셔서 연세 세브란스병원을 검색해주세요.
그리고 사이트에서 주소를 클릭해주세요
p.s 왜 하필 연세 세브란스냐구요?
영국이민국에서 지정한 기관이 국내에 연세 세브란스 병원 밖에 없습니다.
그말인 즉슨, 세브란스병원에서 받은 결핵검사 결과만
영국이민국에서 인정된다는 말이겠죠?
독점입니다. 독점 ㅡㅡ...
사진보고 사랑이 인줄알았네...
좌측하단에 " 예약 및 조회"를 클릭해주시고,
" 예약 안내 " 를 클릭하시면 됩니당.
전화 예약, 방문 예약, 인터넷 예약..
등등 다양한 예약방법이 있으나,
저는 지금 영국에 체류중인 관계로
인터넷 예약방법으로 진행하겠습니다.
당연히 저같은 경우는 " 영국 비자" 를 택해야겠지요?
주의하세요. 늦으면 검사를 못받을 수도 있습니다. 말인 즉슨 연기된다는 말이겠지요?
반명함사진을 또 어디서..찍나..
이것저것 뭐만하면 돈돈돈!!!
제기라아라아라아라알 으아아아아아아!!
준비물은
ㅇ [ 여권 원본, 여권용 혹은 반명함판 사진 2매 (최근 1갸월 이내 촬영)] <<<---이 부분이 제일 싫네요.
ㅇ [ 영국 내 체류주소와 우편번호/한국거주지 영문주소/VISA CATEGORY를 알아오셔야 검사가 가능하답니다..
ㅇ 만약 일정이 당겨지면 문자로 통보해준다네요?
저는 처음이니 " 첫 진료 예약 " 을 클릭했습니다.
막 로그인하고 핸드폰번호 인증이나, 아이핀 인증하면
멘탈나갈까봐 조마조마하고 있었는데.
그냥 간단한 실명인증만하더라구요.
뒤에서 자세히 다룰게요.
매우 유감이게도 5월달 예약이 다 차버렸어요.
슬슬 성수기가 다와가니, 바빠지기 시작하네요.
그래서 하는 수 없이 6월로 넘어갔습니다.
왠만하면 비자신청은 성수기를 피해서 하시는게 좋아요.
6월달은 널널합니다.
언능 언능들 서두르세요! :)
날짜와 시간을 체크하시고
우측하단에 완료버튼으로 진행해주세요.
본인 인증에서 " 실명 인증 " 을 택하면 굳이 핸드폰이나 아이핀 인증을 할 필요없이
이름과 주민번호만 입력 후 진행이 가능합니다.
이메일 주소는 어플레케이션에 입력한 주소와 같아야합니다.
고로, 혼선이 일어나지않도록 잘 적어주시고
증상내용도 그냥 간단히 비자용이라고 적어주세요.
그럼 완료 후 위와같은 화면이 똬앟!
그럼 다~ 끝났습니다.
쉽지요?
결제는 병원내에서 하는거니
참고하시길 바랍니다 :)
연세 세브란스 병원으로부터 예약결과에 대한 메일이 날라왔습니다.
해당 메일을 잘 보관하시고 계시다가,
참고하시면 되시겠습니다!
하나하나 차근차근 해결하다보면
비자 문제는 가뿐히 해결할 수 있을 것 입니다.! 아마도..
160425 영국공인영어시험! IELTS UKVI VS NORMAL. 차이점을 알아볼까요? (0) | 2016.04.25 |
---|---|
160417 영국 비자시스템- 배우자비자, 피앙세비자에 대해서 2편 [번역본] (0) | 2016.04.17 |
160416 영국 비자시스템- 배우자비자, 피앙세비자에 대해서 1편 [번역본] (0) | 2016.04.17 |
RECENT COMMENT