카프카 비동기 전송
280
작성한 질문수 12
플럼에서 수집한 데이터를 카프카 싱크 컴포넌트를 이용해 저장소에 비동기 전송한다는 말은 장애상황에서 저장소에 데이터가 들어가지 못하고 있을때 카프카의 버퍼에서 갖고있다는 말인가요? (비동기 전송 = 데이터의 발생과 적재가 동시에 이루어지지 않는다)
답변 1
0
안녕하세요! 빅디 입니다.
네~ 맞습니다!! ^^
아래 파이프 라인으로 추가 설명을 드리자면요..
(빠르게 발생하는 실시간 데이터) --> 플럼 --> 카프카 --> 스톰 --> HBase
여기서 카프카의 역할은 크게 2가지 입니다.
첫번째는, 앞에서 빠르게 발생하는 데이터를 비동기로 빠르게 받아 주는 버퍼링 역할
두번째는, 최종 목적지인 HBase에 저장 과정중 문제 발생시 안정한 임시 저장소 역할
만약 플럼이 직접 HBase에 저장하는 구성 이라면..
데이터 발생 속도보다, 플럼이 HBase에 저장 속도가 느리다면?
중간의 네트워크 지연 또는 HBase에 장애가 발생 한다면?
그사이 빠르게 발생 하는 실시간 데이터는 이미 흘러가 버리고 유실이 발생 하게 됩니다. ^^;;;
-빅디 드림
주제영역3 데이타 조회 문의
0
58
2
환경 세팅 후 클라우데라매니저 삭제시
0
83
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
102
2
gcc 설치 에러
0
139
3
클러스터 설정 오류
0
110
2
클라우데라 클러스터 설치로 안넘어가짐
0
127
2
버추어박스 5.0 설치
0
157
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
85
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
186
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
173
2
redis-cli 데이터 적재 확인
0
146
2
카프카 토픽 생성에서 에러
0
150
2
HDFS 명령어를 치는데 오류가 납니다
0
141
2
가상환경 내보내기
0
115
1
SpoolDIR 폴더로 옮기
0
115
2
cpu usage 에러
0
115
2
쿼리 실행시 10000 에러
0
131
2