| 거대 악어 vs 거대 뱀 (0) | 2018.01.02 |
|---|---|
| 미세먼지 - 박근혜와 NASA (3) | 2018.01.02 |
| 아마존(Amazon)에 대해 (0) | 2018.01.02 |
| 군견병출신이 알려주는 개 잡는 방법.tip (0) | 2017.09.28 |
| 철원 6사단 일병 총기 사망 사건 도비탄이라고? (0) | 2017.09.28 |
| 미세먼지 - 박근혜와 NASA (3) | 2018.01.02 |
|---|---|
| [미국 소식] 흑인 실업률 21세기 중 최저 기록 (0) | 2018.01.02 |
| 군견병출신이 알려주는 개 잡는 방법.tip (0) | 2017.09.28 |
| 철원 6사단 일병 총기 사망 사건 도비탄이라고? (0) | 2017.09.28 |
| 인간 vs 샤를마리 드 라콩다민 (0) | 2017.05.29 |
| 비만에 관한 7가지 이야기들! (0) | 2018.04.27 |
|---|---|
| 유튜브에 관한 10가지 사실들을 ARABOZA! (0) | 2018.04.27 |
| 컴퓨터보다 빠르게 출현한 인류 최초의 프로그래머 (0) | 2017.11.21 |
| 인간 vs 인디게임 (0) | 2017.09.25 |
| 전 세계의 생소하면서도 특이한 지역 모음집 (0) | 2017.08.29 |
필자는 마스터가 될 리눅스는 GUI로 다운받고 클러스터가 될 아이들은 server용으로 다운받았다.
실행했다. 그 이유는 결국은 사양문제이고 클러스터 처리과정은 물론 터미널로도 가능하니,
마스터에서 자원을 슬레이브들이 공유하여, 하둡을 작동케하려고한다.
별거없다 계속 예예예예예만하면된다.
모르면 그냥 디폴트 값으로 가자.
이름을 잘 지어줘야한다.
괜히 잘못지어줬다가 재설치를 했다.
잘못준이름을 바꿀려면 머리가 깨진다.
총 설치과정을 보여주는 리스트이며 개별로 선택이 가능하다.
물론 위에서 아래로 진행된다.
GRUB Boot Loader를 쓰겠냐는 말인데
필자는 쓰겠다고했다.
예예예
물론 한국도 선택가능하다만, 필자는 영어가 더 좋다.
패스
키보드 설정인데 no로 했다.
잘 지어주어야한다.
계정설정
비밀번호가 약하다고 쓸꺼야? 라고하지만 물론 학습용이라면 상관없다.
홈 디렉토리 암호화할레? 아니!!
타임존 설정.
디폴트로!
여기서 LVM이란?
Logical Volume Manager를 의미한다.
더 자세한 설명을 원한다면 아래를 방문하기를 추천한다.
http://kit2013.tistory.com/199
프록시안쓸꺼니까 놉!
디폴트로 해주자.
그리고 또 vmware tool 깔아야한다.
ssh를 통해 하둡을 연동할것이기 때문에 체크해줬다
스페이스바로 체크가능.
여기까지만 한다면
마스터1개 슬레이브2개 총 3개의 vm을 맥북에 설치했다.
필자는 vmware Fusion을 이용했다.
다음엔 자바 설치와 하둡 설치 등등 핵심내용을 다뤄보고자한다.
| 하둡 어플 만들기-1 (0) | 2018.02.15 |
|---|---|
| OSX에 Hadoop 설치하기 (ver 1) (0) | 2018.02.10 |
| 맥북에 하둡 설치하기. (하둡2) (0) | 2017.11.21 |
![[레벨:2]](http://www.ilbe.com/modules/point/icons/default_ilbe/2.gif){kind=icon}
$ brew tap homebrew/versions
$ brew install protobuf250
$ brew link --force --overwrite protobuf250
$ protoc --version
libprotoc 2.5.0
brew 로 손쉽게 다운받는게 이 얼마나 고마운 일인가.
$ brew install cmake
$ brew install hadoop
심지어 하둡도 브루로 다운받을 수 있다니 세상에나...
$ wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz
$ tar xvf hadoop-2.7.2-src.tar.gz
$ cd hadoop-2.7.2-src
$ mvn package -Pdist,native -DskipTests -Dtar
$ mv hadoop-dist/target/hadoop-2.7.2/lib /usr/local/Cellar/hadoop/2.7.2/
하.. 패키징 부분에서 1번 에러가 떳다..
hadoop-env.sh and add below variables# /usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/hadoop-env.sh
export HADOOP_HOME="/usr/local/Cellar/hadoop/2.7.2"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
core-site.xml<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
Remote Login option. Refer to this link$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ ssh localhost
$ hdfs namenode -format
$ /usr/local/Cellar/hadoop/2.7.2/sbin/start-dfs.sh
$ /usr/local/Cellar/hadoop/2.7.2/sbin/stop-dfs.sh| 하둡 어플 만들기-1 (0) | 2018.02.15 |
|---|---|
| OSX에 Hadoop 설치하기 (ver 1) (0) | 2018.02.10 |
| 가상머신 VM에 리눅스를 설치해보자. 설치편 (0) | 2017.11.28 |
19세기 여성, 에이다 러브레이스
찰스 배비지의 해석기관 도면 연구해
세계 최초 컴퓨터 프로그램 만들어
프로그래머는 현시대 가장 각광받는 직업 중 하나다. 박봉과 야근에 시달리는 현직 개발자들 입장에선 쓴웃음이 나올 소리겠지만, 두 살 먹은 알파고가 서른셋 나이 거기다 세계 최고라는 이세돌을 이기는 세상이니 사람들 관심이 프로그래밍에 쏠릴 수밖에 없다. 실제로 지난 2016년 7월 취업포털 잡코리아가 대학생 1256명을 대상으로 한 설문조사에서도 소프트웨어(SW) 개발자(32.5%)가 10년 후 가장 유망한 일자리로 꼽혔다.
묘하게도, 이 직업은 컴퓨터 발명 이전부터 존재했다. 요새로 치면 스마트폰이 만들어지기도 전에 앱 개발자부터 나타났던 셈이다. 컴퓨터 도면만 보고도 그 장치에서 돌아갈 수 있는 프로그램을 짠 희대의 천재가 있었기에 가능했던 일이다. 바로 러브레이스 백작부인 어거스타 에이다 킹, 약칭(略稱) 에이다 러브레이스(1815~1852)다.
◇천재의 딸
그는 영국의 전설적인 낭만파 시인 조지 고든 바이런(1788~1824)의 딸이다. 이 혈연 때문에 바이런 부녀를 가리켜 ‘아버지는 마음의 프로그래머, 딸은 기계의 시인’이라 말하는 사람도 있다. 에이다 본인은 스스로를 ‘시적인 과학자(poetical scientist)’라 소개했다 한다.
에이다는 아버지를 닮아 문학 쪽에 재능과 흥미가 있었다. 하지만 어머니 앤 이사벨라 바이런은 이를 못마땅하게 여겼다. 딸이 방탕한 아버지를 닮을까 두려워했기 때문이다. 바이런은 재능은 남아돌았지만 도덕심은 부족했던 인물이었다. 에이다의 어머니를 결혼 한 달 만에 버린 데다, 평생에 걸쳐 남녀 200여명과 관계를 맺었다 한다. 심지어 이복 여동생과 어거스타 리와 불륜 관계였다는 의혹도 있다. 참고로 바이런은 이 여동생 이름 중 ‘어거스타’를 딸 이름에 손수 붙였다.
앤은 딸을 문학에서 떼어놓으려 수학과 과학 공부를 집중적으로 시켰다. 문과에서 이과 쪽으로 억지 전향을 하면 대개 나가떨어지기 마련이지만, 에이다는 오히려 수학 쪽에서도 문학 이상으로 탁월한 재능을 보였다. 물론 에이다를 가르친 교사가 윌리엄 프렌드, 메리 서머빌, 오거스터스 드 모르간 등 당대 최상급 수학·과학자였던 덕도 있다. 하지만 머리가 따라주지 않으면 강남 학원가 1타 강사들이 합숙하며 가르쳐도 성적 올리기 힘든 법이니, 에이다가 상당히 영리했던 건 분명한 듯하다. 아무튼 아버지를 닮아 외모도 빼어났던 에이다는, 점차 런던 사교계에서 천재 미소녀로 이름을 날린다.
◇인류 최초의 프로그래밍
1832년, 영국 수학·공학자 찰스 배비지가 ‘해석기관’을 고안해 낸다. 1초 만에 덧셈 뺄셈이 가능하며, 1분 만에 50자리 숫자를 곱하거나 나눌 수 있고, 50자리 숫자 1000개를 저장해둘 수 있는 일종의 기계식 컴퓨터였다. 다만 당대 공학 기술의 한계와 예산 부족 때문에 실제로 기계를 만들진 못했다. 배비지가 별나게 가난했던 건 아니고, 해석기관 자체가 당시 기술력으론 대영제국 예산을 총동원해야 만들 수 있을까 말까 한 오버 테크놀로지였기 때문이다.
1842년 배비지는 이탈리아 토리노 대학을 방문해 해석기관에 대해 강연했다. 그리고 이 자리에 서기로 참석했던 이탈리아군 공병 대위 루이기 메나브레아가 이를 프랑스어 논문으로 정리했다. 메리 서머빌의 소개로 배비지와 친분이 있던 에이다는, 이 논문을 영어로 번역하는 작업을 맡는다.
9개월간 번역하며 에이다가 붙인 주석 분량은, 논문 본문보다 두 배 이상 많았다. 이렇게 추가된 내용 중 하나가 ‘베르누이 수’를 구하는 알고리즘이다. 구체적으론 해석기관에 특정 숫자 n을 넣으면, n 번째 베르누이 수가 도출되는 프로그램이었다. 이 때문에 에이다를 ‘세계 최초의 프로그래머’라 부른다. 그는 또한 이 주석에서 루프, 점프, IF문 등 현대적 프로그래밍 개념까지 언급했다.
에이다는 방정식을 유도만 했을 뿐, 이를 해석기관에 입력 가능한 형태로 프로그래밍한 건 배비지였을 거라는 주장도 있다. 하지만 적어도 아직까진 에이다가 최초의 프로그래머였다고 추측하는 의견이 더 많다. 베르누이 수 알고리즘 연산은 분명 에이다 이름으로 발표됐고, 이에 앞서 배비지가 프로그래밍을 고안했다는 증거는 따로 없기 때문이다. 사실 당사자인 배비지부터가 생전에 “에이다는 해석기관을 나보다 더 잘 아는 사람”이라 말한 기록이 있다.
또한 해석기관을 계산기 정도로만 여긴 배비지와는 달리, 에이다는 “장차 작곡이나 그림 그리기도 가능하게 될 것”이라며 그 잠재력을 보다 깊이 꿰뚫어봤다. 실제로 에이다의 예견처럼, 우리가 지금 만지는 컴퓨터에서 돌아가는 작업은 해석기관을 써도 모두 구현 가능하다. 다만 시간이 매우 오래 걸릴 뿐이다.
◇그는 떠났지만
1852년 11월, 에이다는 36살 나이로 세상을 떠났다. 자궁암에 걸려 쇠약해진 탓도 있지만, 의사가 치료 목적으로 피를 뽑았다가 부작용이 온 게 결정적이었다 한다. 그는 눈을 감기 전 남긴 유언대로 노팅엄 주에 있는 아버지 무덤 곁에 묻혔다.
1980년 12월 10일, 미국 국방부는 에이다의 165번째 생일을 기념해, 공모전을 거쳐 채택된 국방부 표준 프로그래밍 언어에 ‘에이다(Ada)’라는 이름을 붙였다. 이 언어의 미국 국방부 군사 규격 넘버(MIL-STD-1815) 중 ‘1815’는 에이다가 태어난 해를 뜻한다. 영국 컴퓨터 협회는 1998년부터 매년 컴퓨터 이해나 발전에 크게 기여한 인물을 선정해 그의 이름을 딴 ‘러브레이스 메달’을 주고 있다.
지난 2015년 4월엔 캐나다 작가 시드니 파두아가 에이다의 삶을 그려낸 그래픽 노벨 ‘The Thrilling Adventures of Lovelace and Babbage’을 출간했다. 이 책은 국내에도 지난 7월 ‘에이다, 당신이군요. 최초의 프로그래머’ 제목으로 번역돼 나왔다.
출처)http://m.post.naver.com/viewer/postView.nhn?volumeNo=10611499&mainMenu=JOB
| 유튜브에 관한 10가지 사실들을 ARABOZA! (0) | 2018.04.27 |
|---|---|
| 비너스venus에 대해 알아보자.(데이타,후방주의) (0) | 2017.12.04 |
| 인간 vs 인디게임 (0) | 2017.09.25 |
| 전 세계의 생소하면서도 특이한 지역 모음집 (0) | 2017.08.29 |
| 책 리뷰) 서비스 디자인 씽킹 (0) | 2017.07.17 |
Spider는 웹 사이트를 통해 링크를 따라 이동하고 페이지에서 정보를 추출하는 방법을 정의하는 클래스입니다.
default spirder는 아래와 같습니다.
class scrape.spiders.Spider 에 위치하며 각각의 부분과 설명들을 밑에 첨부합니다.
name |
spider의 이름 |
allowed_domains |
spider가 크롤링할 도메인들의 목록 |
start_urls |
URL의 목록이고 어디서부터 크롤링할건지, 나중 크롤링을 위한 뿌리가 된다. |
custom_settings |
spider가 동작할때 project wide configuration으로 오버라이드된다. |
crawler |
이 속성은 스파이더 인스턴스가 바인딩 된 크롤러 객체에 연결되는 속성입니다. |
setting | spider의 동작을 위한 세팅들 |
logger |
Python logger가 log 메세지를 보내기위해 사용됩니다. |
from_crawler (crawler,*args,**kwargs) |
spider를 만들 메소드이며 파라미터별 - crawler => 어떤 spider객체가 바인딩 될 것인지. - args(list) => method _init_()에 전달된 인자들입니다. |
start_requests() |
어떤 특정 URL도 명시되지않았고 스크래핑을 위해 스파이더가 열렸을 경우 scrapy는 start_requests()method를 호출합니다. |
make_requests_from_url(url) |
url을 requests로 콘버트할때 사용됨 |
parse(response) |
response를 처리하고 처리된 데이타를 리턴하고 다음 url을 따라갑니다. |
log(message[,level,component]) |
spider logger를 통해 log msg를 보내는 메소드 |
closed(reason) |
spider가 종료될 떄 호출됩니다. |
Spider Arguments
스파이더 인수는 시작 URL을 지정하는 데 사용되며 다음과 같이 -a 옵션과 함께 크롤링 명령을 사용하여 전달됩니다.
scrape crawl first_scrapy -a group = accessories
위 코드는 스파이더가 어떻게 인자를 받는지 보여줍니다.
Generic Spider
Generic Spider를 사용하여 spider를 sub class로 분류할 수 있습니다.
그리고 그들의 목적은 특정 규칙에 기반한 웹사이트의 모든 링크를 타는게 목적입니다.
다음 스파이더에서 사용되는 예제의 경우 다음 필드가있는 프로젝트가 있다고 가정 해 봅시다.
| 한빛미디어 ) 이것이 자바다. (0) | 2018.04.12 |
|---|---|
| 책 리뷰) 강화학습첫걸음 Feat.한빛미디어 (0) | 2018.03.07 |
| Scrapy로 프로젝트 시작하기 (0) | 2017.10.17 |
| Scrapy 소개 및 개요 (0) | 2017.10.17 |
| 이클립스 플러그인, 디펜던시,시스템 오류 시 조치법 :) (0) | 2017.09.27 |
Scrapy 명령 행 도구는 다양한 인수 및 옵션 그룹이있는 다양한 객체에 대한 명령이 포함되어 있고 주로 'Scrapy tool'이라고도하는 Scrapy를 제어하는 데 사용됩니다.
========================
scrapy.cfg - Deploy the configuration file
project_name/ - Name of the project
_init_.py
items.py - It is project's items file
pipelines.py - It is project's pipelines file
settings.py - It is project's settings file
spiders - It is the spiders directory
_init_.py
spider_name.py
. . .
============================
위와 같은 구조를 가지고 있습니다.
scrapy.cfg 파일이 프로젝트 이름과 프로젝트 세팅을 담고있는 프로젝트 root 디렉토리입니다.
예를 들자면,
[settings]
default = [name of the project].settings
[deploy]
#url = http://localhost:6800/
project = [name of the project]
==================================
이렇게 생겼습니다.
Scrapy Tool 사용법
scrapy tool는 밑에 보이는 커맨드와 사용법을 제공하고있습니다.
=============================================================
Scrapy X.Y - no active project
Usage:
scrapy [options] [arguments]
Available commands:
crawl It puts spider (handle the URL) to work for crawling data
fetch It fetches the response from the given URL
=============================================================
프로젝트 생성
scrapy startproject project_name으로 간단히 프로젝트를 생성할 수 있습니다.
앞으로 헷갈리지않도록 scrapy 전용 폴더를 만들어줍시다.
그리고는
scrape start project project_name 명령어를 통해
본견적으로 시작해봅시다.
친절하게 아래에 명령어를 통해 스파이더를 시작할 수 있음! 이라고 해주네요
cd project_name
scrape gen spider example example.com
저는 logan이라고 이름을 지었습니다.
tree해보시면 전반적 구조가 보이실거에요.
중간에 궁금하신게 있으시다면
scrape -h 명령어를 통해 확인가능합니다.
| 책 리뷰) 강화학습첫걸음 Feat.한빛미디어 (0) | 2018.03.07 |
|---|---|
| spider의 종류를 알아보자 (0) | 2017.10.17 |
| Scrapy 소개 및 개요 (0) | 2017.10.17 |
| 이클립스 플러그인, 디펜던시,시스템 오류 시 조치법 :) (0) | 2017.09.27 |
| 도서 리뷰] Learning JavaScript Feat, 한빛미디어 (0) | 2017.08.16 |
겁나 빠른기로 소문난 이 Scrapy는 파이썬으로 작성된 오픈-소스 웹 크롤링 프레임워크입니다.
XPath에 기반한 셀렉터의 도움으로 비롯해 웹페이지에서 데이터를 추출하기위해 주로 사용됩니다.
BSD에 따라 2008년6월26일에 처음 릴리즈되었으며, 2015년 6월에 이정표인 1.0 버전이 릴리즈 되었습니다.
왜 Scrapy를 사용하는가?
Scrapy의 특징
Scarpy의 강점
Scrapy의 단점
| spider의 종류를 알아보자 (0) | 2017.10.17 |
|---|---|
| Scrapy로 프로젝트 시작하기 (0) | 2017.10.17 |
| 이클립스 플러그인, 디펜던시,시스템 오류 시 조치법 :) (0) | 2017.09.27 |
| 도서 리뷰] Learning JavaScript Feat, 한빛미디어 (0) | 2017.08.16 |
| Swift Fall Through구문 편! (0) | 2016.07.23 |
package com.access.string;
/*
* 자바에서 String이란, 문자값들의 연속을 나타내는 객체이다.
* 문자의 배열도 String과 똑같이 작동한다.
*
* compare(),concat(),equals(),split(),
* length(),replace(),compareTo(),intern(),substring()... 등 다양한 메소드를 지원한다.
*
* 게다가 String은 아래의 3개 메소드를 구현하고있다.
* - Serializable
* - Comparable
* - CharSequence
*
*
*/
public class StringTest {
public static void main(String[] args) {
//test1( );
//test2();
test3();
}
public void test() {
char[] ch = { 'j', 'a', 'v', 'a', 't', 'p', 'o', 'i', 'n', 't' };
String s = new String(ch);
System.out.println(s);
}
/*
* CharSequence Interface 는 문자의 연속을 나타내기위해 사용하는 인터페이스인데,
* String, StringBuffer,StringBuilder 클래스들이 구현하고있다.
*
* String 객체를 만드는 2가지 방법이 있다.
* 1. string literal 2. new keyword
*
* 1.쌍따옴표를 사용해서 객체를 생성한다.
* String s = "welcome"; 과 같이 ""로 감싸서 String임을 JVM한테 알려준다.
* 매번 String 문자를 만들때마다 JVM은 string contant pool을 체크한다.
* 만약 pool에 해당 string이
* 이미 존재한다면 pooling 인스턴스를 참조하여 리턴한다.
*
*
*/
public static void test2() {
String s1 = "Welcome";
String s2 = "Weclome"; // 새로운 인스턴스를 만들지않음.
/*
* 1번 방법으로 String 객체를 만들어봅시다.
* 먼저, "Welcome"이란 값을 가진 String객체를 string constant pool에서 JVM은 찾지않습니다.
* s1 객체가 생성되면 그 다음 pool에서 "Welcome"이라는 값을 가진 string을 찾기
* 시작할겁니다.
* 그리고 pool에서 "Welcome"을 찾으면 새로 인스턴스를 생성하지않고 참조하고있는 인스턴스를 리턴하죠.
*
* 한마디로 이미 생성된 string에 대해서는 중복 인스턴스를 허용하지않고
* 효율적으로 같은 값을 가진 동일한 인스턴스를 리턴하게됩니다.
* (게다가, String object는 string constant pool이라는 특별한 메모리에 저장됩니다.)
*
* 그럼 자바는 왜 string literal 개념을 사용하는가?
* 메모리를 효율적으로 관리하기위해서 위 개념을 사용하고있습니다.
* 중복은 숙적이니까요.
*
*
*/
}
public static void test3() {
String s1 = "java";
char[] ch = { 's', 't', 'r', 'i', 'n', 'g', 's' };
String s2 = new String(ch); // new keyword로 string 객체를 생성.
String s3 = new String("example");
System.out.println(s1);
System.out.println(s2);
System.out.println(s3);
}
}
// String 객체의 메소드들은 나중에 한번에 정리해서 올리겠습니다~
| 객체(오브젝트)와 클래스의 차이점/ Differences between Object and Java (0) | 2017.09.25 |
|---|---|
| Java Command Line Argument (0) | 2017.09.25 |
| 자바 strictly 키워드 (0) | 2017.09.25 |
| 자바 재귀메소드, 재귀함수 java recursive ( Recursion in Java) (0) | 2017.09.25 |
| Java Array 자바 배열편! (0) | 2017.09.25 |
RECENT COMMENT