인프런 커뮤니티 질문&답변

odark님의 프로필 이미지
odark

작성한 질문수

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

하둡 아키텍쳐 핵심 요소[3]- 렉 인지 (Rack Awareness)

랙의 개념(?)여전히

작성

·

179

1

그림에서 네임노드는 기존에 acive, standby 이렇게 두개있는것 봤지만 랙마다 네임노드가 있는것도 이해가 안되고... 랙을 하나의 물리적 서버로 봐야하는것인지, 네임노드를 물리적 서버로 봐야 하는것인지.. 헷갈리네요.우리가 가상서버로 네임노드및 데이타 노드를 만들때 4개의 서버를 만들고 하나는 네임서버 , 또 나머지 3개는 데이터노드서버로 이용하게 되는데 즉 서버마다 네임노드, 데이터 노드가 존재하는데 그림에서 설명하는 rack은 질문을 드리고 답변을 봤어도 이해가 안가네요 ㅠ 그리고 전반적인 것인데 영상에서 솔직히 발음이 듣기가 간혹 어렵고 조사나 접속사가 영상에서 끊기고 적게 들리면서 특히 이해를 더욱 어렵게 만드는 요소같습니다. 가령 1:22~35사이 전후로 말이 끊깁니다. 아래는 강의말씀입니다. " 랙들은 하나이상의 데이타 노드들 곧 적어도 3개의(!! 여기는 접속사없는건지...) 랙들은 가지고 있는 내부정보 지를(??무슨말인지 들리지 않구요) 통해서 네임노드는 네트워크 트래픽을 제거할수있는 읽기쓰기를 지원하는동안 최고의 성능을 발휘하는동안 가까운 데이타 노드를 선택합니다. "

답변 1

2

Billy Lee님의 프로필 이미지
Billy Lee
지식공유자

odark님에게
렉의 개념은 랙과 노드간의 개념에서 출발합니다. 랙은 하둡 클러스트 내에 존재합니다. 다시 말씀드리면 하둡 클러스트는 노드 곧 머신들의 수로 묶습니다. 그들을 바로 렉이라고 하죠. 
그 렉은 파일 블럭들과 블럭들의 고유 레프리카들을 저장한 멀티 노드들을 가지고 있다고 한다면 이제 이해를 하실 겁니다. 

클러스트가 한 대 있다고 가정한다면 팀원들이 클러스트 라고 말을 하면 이미 그 클러스트 내에는 렉 들이 여러 대가 있고, 각각의 렉들은 네임노드 한 대 이상의 수와 데이터 노드들의 여러 대가 묶여 있다고 보세요.

그래서 하둡의 클러스트는 하나 이상의 클러스트들로 구성되어 있다고 볼 수 있으며 그 클러스트 내에는 여러 개의 렉들로 담겨 있다고 보셔야 올바른 구성을 보시고 있는 것이죠. 이제 그 락들은 하나 이상의 네임 노드들로 구성되어 있으며 데이터 노드들도 함께 담겨 있습니다. 

클러스트의 락들은 서로 네트워크 트레픽을 제거할 수 있는 읽기쓰기 정보를 수행하면서 내부 정보 지원을 돕습니다. 그 기능을 수행하고자 가까운 데이터 노드들을 찾습니다. 네임노드가 가지고 있는 정보를 통해 가장 가까운 데이터 노드들을 선택하도록 돕죠. 고유 아이디인 파일 블럭들과 레프리카들을 찾다보면 가장 가까운 렉들을 찾아가게될 것입니다. 수 백 아니 수 만대의 렉들을 찾아 해당 네임노드를 찾으려면 우선 네임노드를 뒤져서 필요한 데이터셋을 찾으려고 하겠죠?

질문에 답이 되셨으면 합니다.
토론토에서 빌리 올림

odark님의 프로필 이미지
odark

작성한 질문수

질문하기