inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Big Data Pipeline Master; Công cụ và kỹ thuật để đạt được thành công

[Lý thuyết 4] Dung sai lỗi HDFS và (Phụ lục) MapReduce và HBase

Replica Placement 질문입니다.

Đã giải quyết

274

akfktl3283950

1 câu hỏi đã được viết

1

4분 50초 경

" rack 전체가 뻗는것 보다 노드 하나 뻗는 확률이 더 올라간다? "

라고 해주셨는데 잘 이해가 가지 않아서 질문드립니다.

제가 이해한 바로는

그래서 그 둘 사이의 타협점을 구한 것이 Replica Placement다.

위처럼 이해하면 될까요??

빅데이터 hadoop elasticsearch logstash Kibana apache-spark s3-bucket

Câu trả lời 2

2

jphil

안녕하세요 최지혁님,

 

우선 제 강의를 수강해주셔서 감사하고 금주에 외부일정이 이제 마무리 되어서 답변해드립니다.

 

  1. rack 전체가 뻗는것 보다 노드 하나 뻗는 확률이 더 올라간다? 

  • 저도 다시 들어보았는데 구두로 설명하다보니 다소 어감의 차이가 있을 수도 있겠네요. 이해하신바처럼 별도의 Rack 전체에 문제가 생기는 것 보다 단일 노드에 문제가 생길 확률이 보다 높으므로, (흐름을 이어서 얘기하면) 단일 노드에 (신뢰성을 고려하지 않고) replica 전체를 저장할 경우 그 노드 자체가 모종의 문제로 인해 문제가 생길경우 복제본들이 다 사용할 수 없는 현상이 나타날 수 있습니다.

     
    그래서 이를 Hedging 하기 위해서 Replica Placement 기반하여 적절히 복제본을 배치하게 됩니다.


 

image

  1. 위에서 "가용성을 위해" 부분을 제외하고 이해하신 부분이 맞습니다. 극한으로 쓰기속도 High 처리하 하기 위해서 단일 노드에 모든 복제본을 배치할 경우, Trade off로 신뢰성이 무너지게 됩니다. 이에 맨 위에서 언급한 것처럼 그 노드에 문제가 생기면 복제본을 가져올 곳이 없으므로

    원활한 장애대응을 할 수 없게 됩니다.

    신뢰성과 대역폭을 비교해서 예를 들은 이유는 "수강생분 또는 학생분들이 해당 replica placement에 대해 처음 들었을때, 왜 이렇게 를 만들었을까?" 라는 의구심이 생길 수 있으므로, 단순 암기가 아닌 조금더 논리적으로 이해하고 숙지하기 위해서 예를 들었다고 참고해주시면 좋을 것 같습니다. 😀

 

0

akfktl3283950

잘 이해 되었습니다!! 너무 감사합니다:)

 

강의 pdf는 따로 제공안해주시는 건가요?

0

43

1

practice1 응답값 관련 질문

0

73

2

crontab 결과가 market.log 에 저장이 안돼요ㅠ

0

117

1

코딩 프로그램

0

121

1

색션2 실습 practice 1 질문드립니다.

0

127

1

색션2 실습 Carwling에 practice 1 부분 질문드립니다.

1

113

1

yahoo finacne 데이터 다운로드 안됩니다.

0

369

1

섹션2 가상환경 설치 오류

0

159

1

수강기간연장가능할까요?

0

199

1

수강 기한 연장이 가능할까요?

0

256

1

강의 연장 문의

0

179

1

wb.json , pandas.json 파일을 jupyter notebook 환경에서 read 가 안됩니다..ㅠ

0

531

3

[HDFS] Data integrity; checksum 관련 질문

1

345

2

안녕하세요. 강의 연장 신청 문의드립니다

0

401

2

jar input output_notice 문의

0

347

3

안녕하세요 강의 연장문의

0

326

2

aws ubuntu 22.04 크롬 드라이브 설치 및 경로 확인

0

1193

2

섹션2 실습1 코드 공유 문의..

0

424

3

Beautiful Soup 실습 출력 문의

0

168

1

venv 환경 패키지 설치 방법 문의

0

1385

2

가상머신 설치부터 안됩니다.

0

278

1

강의 연장 문의 드립니다.

0

316

2

섹션2 실습 1에서 질문 있습니다.

0

524

2

슬라이드 자료

0

269

1