빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기 대시보드

BigData with Hadoop

구글, 야후, 페이스북, IBM, 인스타그램, 트위터 등
여러 기업에서 데이터 분석에 사용하고 있는
대표적인 빅데이터 솔루션, 하둡(Hadoop)을 통해
빅데이터 분산형 시스템 인프라를 구축해 봅니다.

• 하둡은 공개형 소프트웨어로, 누구나 무료로 사용할 수 있는 오픈소스(Open Source)입니다.
  이 강의에서는 하둡 3.2.1 버전을 통해 빅데이터를 다룰 것입니다.

• 선수 지식으로 자바(Java) 프로그래밍 언어 기초, 빅데이터 및 가상머신/데이터 셋 관련 용어에 대한 지식과 리눅스 우분투(Linux Ubuntu)에 대한 기본적인 이해가 필요합니다.

Q. 빅데이터란 무엇인가요? 하둡을 사용할 때 그 정의가 필요한가요?

네, 당연히 하둡(Hadoop)을 다룰 때 반드시 빅데이터에 대한 간략한 정의 및 이해를 요구합니다. 물론 완벽하고 깊이있는 수준의 숙지를 요구할 정도는 아닙니다. 다만 하둡을 다룰 때 꼭 필요한 이해 정도를 요구하는 형태겠죠.

빅데이터는 하둡 툴을 가지고 매우 큰 데이터셋을 다룹니다. 이 데이터셋은 수많은 기업들이 다루는 여러 패턴 및 트렌드를 파악하기 위해 분석하는 기초 데이터입니다. 인간의 사회적 행동 및 패턴, 그리고 상호작용 가운데 벌어지는 인류의 가치 창출과 연관이 서려 있지요.

_{이미지 출처: TechTarget (원문 바로가기)}

Q. 하둡이 무엇인가요? 컴포넌트는 무엇이고, 하둡 스택은 또 무엇인가요?

테라바이트를 넘어 페타(Petta/Zettabyte)에 이르는 대규모 소셜 사이트의 데이터를 처리해야 하는 사명을 하둡이 돕고 있습니다. 하둡 스택(Hadoop Stack)이란 이런 빅데이터를 다루는 오픈 소스 프레임워크 방식을 가리킵니다.

단순히 ‘하둡’은 ‘하둡 스택’이라고 불립니다. 싸고 일상적인 커머디티 하드웨어(Commodity hardware)를 사용하여 클러스트를 제작하고 그 방대한 서버들의 집합체인 클러스트 내에 대용량 프로세스 처리를 하도록 돕는 것이 하둡이자 하둡 스택이죠. 하둡 스택은 ‘단순 배치 프로세스’라고도 하며, 자바 기반의 '분산 컴퓨팅 플랫폼'입니다. 그래서 개인이 원하는 만큼의 데이터를 주기별로 배치를 돌리며 처리하면서, 데이터들을 원하는 형태로 가공 분산하여 결과값을 산출하는 것이죠.

Q. 프로그래밍 지식이 필요한가요?

프로그래밍에 대한 지식이나 코드 작성 경험이 없어도 괜찮습니다. 자바나 파이썬을 처음 경험한다고 생각하고 가르칠 수 있도록, 깊이있는 이해를 바탕으로 수업을 진행합니다. 강의에 쓰인 문서는 영어로 되어 있지만 따라하시는 데는 지장이 없도록 한국어로 강의합니다. 간혹 영어로 설명을 하기는 하지만, 고등학교 수준이면 해석할 수 있지 않을까요? (저의 낮은 영어실력으로도 꿈을 이룬 것처럼요.)

Q. 하둡을 다루는데 빅 데이터는 어느 정도 연관이 있나요?

이 강의는 당연히 하둡을 다루고 있습니다. 단순히 RDMS라는 오라클이나 MSSQL, 혹은 MYSQL을 넘어서 대용량 처리를 시작으로 데이터 처리 속도 문제, 저비용 효과라는 기업의 필수 요소를 창출하고자 합니다. 특히 소셜을 다뤄야 하는 기업들, 즉 곧 로우와 컬럼에 기초한 데이터 RDMS에서 다루는 관계형 데이터를 다루는 스트럭쳐 데이터(Structured data)뿐만 아니라, 이미지, 오디오, 워드 프로세스 파일 그 자체를 다뤄야 하는 언스트럭쳐 데이터(Unstructred data) 등도 하둡이 다루게 됩니다.

서비스 스트럭쳐 데이터를 다룰 때는 Email, CSV, XML, and JSON 과 같은 웹 서버와의 통신과 데이터 연동에 관련된 데이터를 말하고 있죠. HTML, Web Sites, NoSQL Databases 역시도 여기에 포함됩니다. 물론 EDI라는 비지니스 서류 관련 전산 이동시키는 컴퓨터 대 컴퓨터 간의 이동 처리 문제를 다룰 때 쓰는 데이터셋 누적도 역시 여기에 속하죠.

_{이미지 출처: MonkeyLearn Blog (원문 바로가기)}

Q. 어느 정도 수준까지 내용을 다루나요?

이 강의는 Ubuntu(우분투) 20.04 LTS 기반에 Hadoop(하둡) 3.2.1을 직접 사용자가 설치할 수 있도록 도와줍니다. 유닉스나 리눅스 경험이 없어도 자연스럽게 따라오시면 리눅스를 바탕으로 이어지는 설치 요령 및 리눅스 운영체제를 자연히 숙지하게 됩니다. 또한 하둡이 다루는 CLI 언어나 사용자 언어를 익히는 기초적인 부분을 넘어, 구글이 가지고 있는 기술인 DFS and MapReduce 기술에 익숙해지도록 도와줄 것입니다. YARN(얀)에 대한 이해는 기초 이론만 가지게 되며, 추후 하둡 3.3.0 중급 과정에서 클러스트를 설치하면서 얀에 대한 보다 깊이있는 학습을 기대하시길 바랍니다.

Q. Ubuntu 20.04 LTS를 실습 환경으로 사용하는 이유가 있나요?

우분투(Ubuntu)는 무료로 사용할 수 있고, LTS(Long-Term Service)를 통해 장기 서비스 지원을 꿈꾸는 기업을 대상으로 하둡을 리눅스에서 설치하면서 자연스럽게 기업이 요구하는 운영체제 및 개발 환경을 구축할 수 있도록 돕고 있습니다. 동일한 환경 내에 이클립스나 인텔리전트를 사용하도록 도움으로써, 당장 빅데이터를 다루는 데이터 과학의 꿈을 실현시키는 데 함께 이바지하도록 하는 좋은 시간이 될 것입니다.

_{우분투는 윈도우 운영체제의 설치 및 운영과
비슷한 환경, 즉 GUI(그래픽 유저 인터페이스)
환경을 통해 사용자를 돕고 있죠.}