Gentle Breeze

- MapReduce ▲ Click to Enlarge ▲ ① 사용자는 Job에 대한 실행 정보를 설정한 후 waitForCompletion 메소드를 호출해 Job을 실행 ② Job 인터페이스에서는 새로운 Job Client가 생성되고 이 객체가 Job Tracker에 접속해 Job을 실행해 줄 것을 요청. Job Tracker는 Job ID를 Return. * Job Client는 사용자가 설정한 출력 경로 확인을 실시하며 이미 존재할 경우 MapReduce 작업이 종료됨. ③ Job Client는 Job의 입력 데이터에 대한 입력 Split을 계산. Split이 계산되면 입력 Split 정보, 설정파일, MapReduce JAR File을 HDFS에 저장하고 Job Tracker에게 실행 준비를 통보..

▲ Click to Enlarge ▲ ① Secondary Namenode가 Namenode에게 Log File Rolling을 요청 ② Namenode는 기존의 Edit Log File을 Rolling 한 후 새로운 Edit Log File을 생성 ③ Secondary Namenode가 Rolling 된 Edit Log File과 FsImage를 다운로드 (HTTP GET) ④ Secondary Namenode는 FsImage File을 메모리에 올리고 Edit Log File에 있는 로그를 메모리에 Loading 된 FsImage에 적용, 메모리 갱신이 완료되면 새로운 FsImage File이 생성되고 이 File이 check pointing에 사용됨 ⑤ Secondary Namenode는 check..

출처 : http://www.admin-magazine.com/HPC/Vendors/AMD/Apache-Hadoop-Performance-Tuning-Methodologies-and-Best-Practices

- HDFS Default Block Size * 1.x : 64MB * 2.x : 128MB - Default Block Size by OS * Windows : 2MB * Unix : 512KB