inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

하둡 아키텍쳐 핵심 요소[4]- Read/Write Architecture

이해가 진짜 안되네요 ㅠㅠ

149

odark

작성한 질문수 105

0

write architecure 화면에서 읽기프로세스 메카니즘을 살펴보자고 한말이 무슨뜻인가요?~~~write request인데..왜자꾸 읽기요청을 한다고 하는지...ㅠㅠ

Hadoop bigdata 데이터 엔지니어링

답변 1

0

Billy Lee

Odark 님에게 

매카니즘(Mechanism)이라는 말은  결과물을 얻기 위해 수행하는 기술의 일종입니다. 다른 말로 프로세스라는 말을 하죠. 예를 들어 빵을 만드는 매카니즘은 사실 간단하답니다. 토론토에서는 팬케익을 만드는 것을 좋아하죠..

캐나다인들 혹은 원주민들은 팬케익을 만들기 위해 우유, 계란, 버터와 밀 플라워(flour)를 재료로 몇 가지 프로세스를 통해 팬케익을 먹게 되죠. 다시 쉽게 말해 다양한 경로 프로세스 혹은 매커니즘을 통해 다양한 팬케익을 만들 수 있다면 팬케익 메카니즘이라는 말은 팬케익을 만들기 위한 케익을 만드는 프로세스라고 말을 하면 이해가 빠를 것입니다. 팬케익을 만드는 과정을 팬케익 메커니즘이라고 하듯 하둡도 하둡 매커니즘이 있고, 맵리듀스 매커니즘도 별도로 존재하여 그 형식에 맞추어 모든 일들이 진행한답니다.

그래서 읽기 쓰기 매커니즘을 말할 때는 하둡이 맵리듀스 잡을 실행 시킬 때 맵리듀스 결과값을 프로세스 과정을 통하여 읽기 매커니즘을 지나 아웃풋을 만들어 낸다는 말을 할 때 "읽기 쓰기 매커니즘"이라는 말을 하는 것이죠.

맵리듀스는 자바로 만들었고, 구글이 읽기 쓰기 프로세스를 빠르게 진행시키고자 구글 맵리듀스 잡이  wirte request 를 보냅니다. 그 말은 사용자가 맵리듀스 명령어를 실행시키면서 맵리듀스 매커니즘의 형식에 따라 읽기 요청(writing request)를 하둡이 맵리듀스 형식을 그 매커니즘에 내부 과정 프로세스에 따라 과정을 진행한다는 말이죠..

이제 조금 이해가 되셨다면 다시 강의를 들어보시면 수월할 듯합니다.

토론토에서 빌리 올림

start-dfs.sh가 작동하지 않습니다.

0

460

1

우분투 버전 문의

0

364

1

Namenode 폴더 format 도중 발생한 오류입니다.

0

575

1

우분투 설치 도중 오류 문의드립니다.

1

984

1

put, copyFromLocal과 get, copyToLocal

0

403

1

특정 부분에서의 미동작

0

424

3

Ubuntu 환경에서 jdk 압축 해제시 오류 발생 관련하여 질문드립니다!

0

560

2

12강 _- 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mappe..) ==> 4분37초 부분

0

245

1

하둡 설치 및 셋팅 중 에러.....

1

269

1

질문이 있습니다!!

0

473

4

hadoop 명령 put 실패

0

887

1

안 됩니다

0

510

3

포맷 오류

0

251

1

월별로 뽑고 싶다면?

1

216

1

Rack이 정확히 의미하는 것이 무엇인가요?

1

6140

1

배경음악이 너무 커요

0

312

2

포맷이 안됩니다.

0

238

1

강의에서 사용하신 하둡 설치 wget 주소에서 404 not found가 떠서

0

743

3

선생님 혹시 WSL2로도 학습이 가능할까요?

1

268

1

log4j...에러문제입니다 ! ㅠㅠ

2

292

2

기준설정

0

233

1

이클립스 에러

0

181

1

자바에서 밑부분이 안나와요!

1

249

1

명령어 질문

0

166

1