인프런 커뮤니티 질문&답변

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

1.빅데이터 실시간 적재 개요

배치형 대규모 데이터 적재 관련 질문

작성

333

안녕하세요, 배치형 데이터 적재 관련해서 질문 드립니다.

배치형 데이터의 경우 Flume이 모니터링 하는 SpoolDir로 데이터가 들어와야 hdfs로 적재가 되는데, 1일 단위로 데이터가 발생하는 현재 상황에서 매일 txt 파일을 spooldir로 직접 mv 해줘야하는 건가요??

감사합니다.

퀴즈

실시간 빅데이터 적재가 어려운 주된 이유는 무엇일까요?

데이터 종류가 너무 다양해서

데이터가 빠르게 대량으로 생성되어서

기존 관계형 데이터베이스에서 ACID를 지원하지 않아서

오픈소스 라이선스 문제가 복잡해서

답변 1

지식공유자

안녕하세요! "yhy258"님!

네~ 플럼의 Spooldir 영역으로 이동을 해주는건 맞는데요..

실제 프로덕트 환경에선 사람이 수작업으로 이동 시키지는 않습니다.

약속된 시간에 파일 수집이 완료 되면, 해당 파일을 Spooldir로 이동 시키는 스크립트(or 워크플로우)를 스케즐러가 작동 시키는 자동화 작업을 수행합니다.

이를위해 쉘스크립트를 직접짜서 크론탭에서 관리하거나, 오픈소스 워크플로우로 Airflow or Azkaban 등을 사용합니다.

- 빅디 드림

작성한 질문수