배치형 대규모 데이터 적재 관련 질문
339
2 asked
안녕하세요, 배치형 데이터 적재 관련해서 질문 드립니다.
배치형 데이터의 경우 Flume이 모니터링 하는 SpoolDir로 데이터가 들어와야 hdfs로 적재가 되는데, 1일 단위로 데이터가 발생하는 현재 상황에서 매일 txt 파일을 spooldir로 직접 mv 해줘야하는 건가요??
감사합니다.
Answer 1
0
안녕하세요! "yhy258"님!
네~ 플럼의 Spooldir 영역으로 이동을 해주는건 맞는데요..
실제 프로덕트 환경에선 사람이 수작업으로 이동 시키지는 않습니다.
약속된 시간에 파일 수집이 완료 되면, 해당 파일을 Spooldir로 이동 시키는 스크립트(or 워크플로우)를 스케즐러가 작동 시키는 자동화 작업을 수행합니다.
이를위해 쉘스크립트를 직접짜서 크론탭에서 관리하거나, 오픈소스 워크플로우로 Airflow or Azkaban 등을 사용합니다.
- 빅디 드림
주제영역3 데이타 조회 문의
0
59
2
환경 세팅 후 클라우데라매니저 삭제시
0
84
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
103
2
gcc 설치 에러
0
141
3
클러스터 설정 오류
0
110
2
클라우데라 클러스터 설치로 안넘어가짐
0
127
2
버추어박스 5.0 설치
0
158
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
85
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
187
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
174
2
redis-cli 데이터 적재 확인
0
146
2
카프카 토픽 생성에서 에러
0
150
2
HDFS 명령어를 치는데 오류가 납니다
0
142
2
가상환경 내보내기
0
116
1
SpoolDIR 폴더로 옮기
0
115
2
cpu usage 에러
0
115
2
쿼리 실행시 10000 에러
0
131
2