Gentle Breeze

- MapReduce ▲ Click to Enlarge ▲ ① 사용자는 Job에 대한 실행 정보를 설정한 후 waitForCompletion 메소드를 호출해 Job을 실행 ② Job 인터페이스에서는 새로운 Job Client가 생성되고 이 객체가 Job Tracker에 접속해 Job을 실행해 줄 것을 요청. Job Tracker는 Job ID를 Return. * Job Client는 사용자가 설정한 출력 경로 확인을 실시하며 이미 존재할 경우 MapReduce 작업이 종료됨. ③ Job Client는 Job의 입력 데이터에 대한 입력 Split을 계산. Split이 계산되면 입력 Split 정보, 설정파일, MapReduce JAR File을 HDFS에 저장하고 Job Tracker에게 실행 준비를 통보..

▲ Click to Enlarge ▲ ① Secondary Namenode가 Namenode에게 Log File Rolling을 요청 ② Namenode는 기존의 Edit Log File을 Rolling 한 후 새로운 Edit Log File을 생성 ③ Secondary Namenode가 Rolling 된 Edit Log File과 FsImage를 다운로드 (HTTP GET) ④ Secondary Namenode는 FsImage File을 메모리에 올리고 Edit Log File에 있는 로그를 메모리에 Loading 된 FsImage에 적용, 메모리 갱신이 완료되면 새로운 FsImage File이 생성되고 이 File이 check pointing에 사용됨 ⑤ Secondary Namenode는 check..

출처 : http://www.admin-magazine.com/HPC/Vendors/AMD/Apache-Hadoop-Performance-Tuning-Methodologies-and-Best-Practices

- HDFS Default Block Size * 1.x : 64MB * 2.x : 128MB - Default Block Size by OS * Windows : 2MB * Unix : 512KB

RabbitMQ 설치 전 Erlang 을 다운받아 설치한다. http://erlang.org/ 에서 OS 버전에 맞는 바이너리 설치파일을 다운로드하여 설치한다. Erlang 설치가 끝나면 환경변수에 ERLANG_HOME 을 아래와 같이 추가해준다. (value 는 Erlang 설치경로) Erlang 설치 및 설정이 끝나면 RabbitMQ Server 버전을 아래에서 다운로드 받아 설치한다. Client 가 아닌 Server 버전을 다운로드 받아야 함에 주의한다. 다운로드 - http://www.rabbitmq.com/download.html RabbitMQ 설치가 끝나면 환경변수에 RABBITMQ_SERVER 를 추가해 준다. (value는 RabbitMQ 설치 경로) Path 값의 맨 뒤에 ;%RABB..