kafka 단독 실시간 데이터 처리보다 flink를 추가로 구축하고 사용시의 장점에 대해 질문 드립니다.
안녕하세요, 강의 잘 들었습니다.
아직 실무에 flink를 사용해 본 적이 없어 조금 더 구체적인 장점등을 알고 싶어 질문 드리게 되었습니다.
사실 기존에는 kafka만을 사용해서 실시간 데이터 처리를 하는 사례도 많았던 것 같은데
이 때 추가로 flink를 사용할 때 kafka만을 사용할 때 보다 어떤 부분이 더 나은지 등에 대해 조금 궁금해져서 질문 드립니다.
답변 1
0
안녕하세요, 백지훈님,
좋은 질문이에요. 요약하자면...
Kafka 단독일 경우에는 메시지 버스 + 간단한 소비/생산에 최적이라 할수 있고, 상태가 작고, 윈도우/조인/지연 이벤트 처리가 단순한 경우 괜찮습니다.
Flink 추가하시면 대규모 상태, 이벤트타임 정확성, 복잡한 윈도우 조인, 재처리 및 Backfill, 정확히 한 번 처리까지 더 많은 장점이 있습니다.
제가 실전에서 느꼈던 좋은 점으로는 지연 이벤트 보정, 세션 종료 타이머 같은 것을 잘 쓰고 있습니다.
기출 11회 작업형 2_전체 데이터 학습 여부
0
11
1
예측값 결과 소수점 차이
0
16
2
기출 문제와 실전챌린지 연습문제 무엇부터 푸는게 나은가요?
0
13
0
전처리 train() test([ ])
0
14
2
작업형 1 배경지식 질문
0
17
2
옳게 풀은건지 질문드립니다!
0
13
1
roc_auc_score
0
22
2
추가질문 합니다
0
13
2
시험환경 구름
0
16
2
변경된 체험환경 작업형3번질문이요
0
8
2
2유형 질문드려요
0
13
2
RandomForest vs lgb
0
22
2
21c 버전으로 해도 무방한가요?
0
11
3
전처리 관련질문
0
21
3
작업형3 기출
0
15
2
유형2에서 데이터분할 생략 가능여부
0
27
2
9회 기출 유형3 질문
0
17
2
lgb 기초편
0
12
1
괄호 사용
0
20
2
수업노트는 어디서 볼 수 있나요?
0
19
2
작업형 2 데이터 전처리 질문
0
21
1
Flink 2.0 버전부터 스칼라를 더이상 지원하지 않네요
0
115
2
Data Sink Topology 질문 있습니다
0
62
2
State Management & Fault Tolerance 부분 설명이 하나도 이해가 안 돼요
0
88
2