kafka 단독 실시간 데이터 처리보다 flink를 추가로 구축하... - 인프런

실리콘밸리 엔지니어와 함께하는 Apache Flink

Kafka 데이타를 Flink에서 처리하기

kafka 단독 실시간 데이터 처리보다 flink를 추가로 구축하고 사용시의 장점에 대해 질문 드립니다.

해결된 질문

작성

안녕하세요, 강의 잘 들었습니다.

아직 실무에 flink를 사용해 본 적이 없어 조금 더 구체적인 장점등을 알고 싶어 질문 드리게 되었습니다.

사실 기존에는 kafka만을 사용해서 실시간 데이터 처리를 하는 사례도 많았던 것 같은데

이 때 추가로 flink를 사용할 때 kafka만을 사용할 때 보다 어떤 부분이 더 나은지 등에 대해 조금 궁금해져서 질문 드립니다.

답변 1

지식공유자

안녕하세요, 백지훈님,

좋은 질문이에요. 요약하자면...

Kafka 단독일 경우에는 메시지 버스 + 간단한 소비/생산에 최적이라 할수 있고, 상태가 작고, 윈도우/조인/지연 이벤트 처리가 단순한 경우 괜찮습니다.
Flink 추가하시면 대규모 상태, 이벤트타임 정확성, 복잡한 윈도우 조인, 재처리 및 Backfill, 정확히 한 번 처리까지 더 많은 장점이 있습니다.

제가 실전에서 느꼈던 좋은 점으로는 지연 이벤트 보정, 세션 종료 타이머 같은 것을 잘 쓰고 있습니다.

질문자

아 이해가 됐습니다. 감사합니다. 배운 것들을 토대로 현업에서 잘 활용해 보겠습니다 ㅎㅎ