인프런 커뮤니티 질문&답변

안녕하세요! 빅디 입니다.

처음에 관련 아키텍처로 많이들 궁금해 하십니다. ㅎㅎ

우선 각각의 역할을 단순화 해서  정의 하면 다음과 같습니다.

* 플럼 : 데이터 수집기

* 카프카: 데이터 큐(토픽)

카프카는 수집 기능이 없다고 보시면 됩니다.

대신 원천에서 빠르게 발생 하는 대규모 메세지성 데이터가 최종 저장소(RDB or HBase 등)에

저장되는 과정에 데이터를 안전하게 처리 하기 위한 완충 장치가 필요하고, 이때 카푸카가 사용 됩니다.

카프카는 그냥 데이터가 들어오기만을 기다릴뿐 수집 기능은 없고,  데이터 특성에 따라 수집 단계 중간에

위치해 버퍼링 역할을 하게 됩니다.

다시말해 카프만  가지고는 데이터를 수집/적재 할 수 없습니다. 하지만 플럼만으로 가능합니다.

저는 카프카를 데이터의 휴게소 라고도 설명 하곤 합니다.

원천(출발지)에서 수집된 데이터가 최종 저장소(목적지)에 도착하기 전에 잠시 머물르는

휴게소에 비유 할 수 있기 때문 입니다. ^^

수집/적재 파일럿 파트를 완료하면, 좀더 명확히 이해가 되실 겁니다.  -빅디 드림