플럼 -> 카프카 -> 하둡 구조 질문입니다.
348
작성한 질문수 18
안녕하세요.
좋은 강의 올려주셔서 감사합니다.
카프카 활용 방안 1을 보면서 문뜩 생각이 들어 질문 올립니다.
플럼 -> HBase 구조가 장애 발생 시 취약점이 있어
플럼 -> 카프카 -> HBase 구조를 쓰게 된다고 이해했습니다.
여기서 플럼과 카프카가 둘 다 수집 적재의 기능이 있다면
카프카->Hbase만 쓰면 될꺼같은데 굳이 플럼으로 수집하고 그걸 다시 카프카가 수집하는 구조로 만드는 이유가 궁금합니다.
답변 1
1
안녕하세요! 빅디 입니다.
처음에 관련 아키텍처로 많이들 궁금해 하십니다. ㅎㅎ
우선 각각의 역할을 단순화 해서 정의 하면 다음과 같습니다.
* 플럼 : 데이터 수집기
* 카프카: 데이터 큐(토픽)
카프카는 수집 기능이 없다고 보시면 됩니다.
대신 원천에서 빠르게 발생 하는 대규모 메세지성 데이터가 최종 저장소(RDB or HBase 등)에
저장되는 과정에 데이터를 안전하게 처리 하기 위한 완충 장치가 필요하고, 이때 카푸카가 사용 됩니다.
카프카는 그냥 데이터가 들어오기만을 기다릴뿐 수집 기능은 없고, 데이터 특성에 따라 수집 단계 중간에
위치해 버퍼링 역할을 하게 됩니다.
다시말해 카프만 가지고는 데이터를 수집/적재 할 수 없습니다. 하지만 플럼만으로 가능합니다.
저는 카프카를 데이터의 휴게소 라고도 설명 하곤 합니다.
원천(출발지)에서 수집된 데이터가 최종 저장소(목적지)에 도착하기 전에 잠시 머물르는
휴게소에 비유 할 수 있기 때문 입니다. ^^
수집/적재 파일럿 파트를 완료하면, 좀더 명확히 이해가 되실 겁니다. -빅디 드림
주제영역3 데이타 조회 문의
0
57
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
137
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
139
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
113
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2