카프카의 싱크로 Stom의 역할
181
작성한 질문수 6
Kafka의 Sink로 HBase가 있는것으로 보이는데
HBase로 바로 연결안하고 중간에 Storm을 두는
이유를 좀더 구체적으로 알고 싶습니다.
추후 강의를 보면 Storm의 Event Detection 기능을
활용하기 위함이라고 나오는데 Kafka는 그런 기능이
없을까요?^^
답변 1
2
안녕하세요! 빅디 입니다.
많은분들이 실시간 아키텍처를 어려워들 하십니다. ^^;
우선 질문의 핵심은 스톰의 존재 이유로 보이는데요..
그전에 카프카의 존재가 왜 필요 한지는 이해가 됐다는 전제로 설명을 드리겠습니다.
스톰은 카프카로 부터 데이터를 빼내서 적재 하는것 외에 아래와 같은 주요 기능을 제공합니다.
1. 스톰의 볼트를 병렬로 구성해 고성능 처리를 한다던지..
2. 규칙(룰)을 정해서 데이터를 필터링 한다던지..
3. 병렬 처리중 집계함수를 제공 하고, 그 결과를 다시 하나로 모은 다던지..
4. 처리한 결과를 다양한 타겟 DB로 라우팅해 분리 저장한다던지..등
파일럿 프로젝트에선 볼트를 병렬로 구성하고, Esper를 이용해 윈도우타임을 적용해 데이터를 필터링 하고 레디스-HBase로 라우팅 하는 기능을 구현 하기위해 스톰이 사용 되었습니다.
만약 위와 같은 기능을 사용 안하고, Kafka Sink를 이용해 토픽-HTable 1:1 구조로 저장만 한다면..
'이수진'님 말씀처럼 스톰이 불필요 할수도 있습니다~ - 빅디 드림
주제영역3 데이타 조회 문의
0
56
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
137
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
161
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
139
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
112
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2