카프카 비동기 전송

안녕하세요! 빅디 입니다.

네~ 맞습니다!! ^^

아래 파이프 라인으로 추가 설명을 드리자면요..

(빠르게 발생하는 실시간 데이터) --> 플럼 --> 카프카 --> 스톰 --> HBase

여기서 카프카의 역할은 크게 2가지 입니다.

첫번째는, 앞에서 빠르게 발생하는 데이터를 비동기로 빠르게 받아 주는 버퍼링 역할

두번째는, 최종 목적지인 HBase에 저장 과정중 문제 발생시 안정한 임시 저장소 역할

만약 플럼이 직접 HBase에 저장하는 구성 이라면..

데이터 발생 속도보다, 플럼이 HBase에 저장 속도가 느리다면?
중간의 네트워크 지연 또는 HBase에 장애가 발생 한다면?

그사이 빠르게 발생 하는 실시간 데이터는 이미 흘러가 버리고 유실이 발생 하게 됩니다. ^^;;;

-빅디 드림