kafka 단독 실시간 데이터 처리보다 flink를 추가로 구축하고 사용시의 장점에 대해 질문 드립니다.
안녕하세요, 강의 잘 들었습니다.
아직 실무에 flink를 사용해 본 적이 없어 조금 더 구체적인 장점등을 알고 싶어 질문 드리게 되었습니다.
사실 기존에는 kafka만을 사용해서 실시간 데이터 처리를 하는 사례도 많았던 것 같은데
이 때 추가로 flink를 사용할 때 kafka만을 사용할 때 보다 어떤 부분이 더 나은지 등에 대해 조금 궁금해져서 질문 드립니다.
回答 1
0
안녕하세요, 백지훈님,
좋은 질문이에요. 요약하자면...
Kafka 단독일 경우에는 메시지 버스 + 간단한 소비/생산에 최적이라 할수 있고, 상태가 작고, 윈도우/조인/지연 이벤트 처리가 단순한 경우 괜찮습니다.
Flink 추가하시면 대규모 상태, 이벤트타임 정확성, 복잡한 윈도우 조인, 재처리 및 Backfill, 정확히 한 번 처리까지 더 많은 장점이 있습니다.
제가 실전에서 느꼈던 좋은 점으로는 지연 이벤트 보정, 세션 종료 타이머 같은 것을 잘 쓰고 있습니다.
작업형2 모의문제2에서 drop이랑 인코딩
0
18
1
안녕하세요 강사님
0
24
1
[시험 준비] AICE Associate 단기간 합격을 위한 모의고사 활용 방법 문의
1
26
1
인코딩을 다 꼭 해봐야하는지
0
24
2
dbt variable을 활용한 incremental 모델 생성 후 다른 실습 진행 시 문제
0
26
0
학습 자료
0
24
1
안녕하세요? 강사님 질문있습니다.(인코딩관련)
0
56
2
이진분류에서 양성 클래스가 0일 때 평가 방법
0
45
2
원핫인코딩 전 train과 test 병합여부
0
49
2
수강기간 연장
0
60
2
Spark 3.5에서 pandas의 NaN이 NULL로 바뀌지 않을 때
0
48
1
29강 작업2형의 이상치 처리
0
64
2
수강기간 연장 문의드립니다!
0
64
2
9월에 실기출제기준 개정내역에 신설된부분
0
55
1
경쟁상태
0
51
1
stmt
0
44
1
실기 문제 구성?
0
34
0
실기 문제 구성?
0
34
0
작업형2 모의문제2 결과값 관련 문의드립니다.
0
66
2
Kafka 4.0 zk 코드 제거 가이드 요청
0
43
2
12회차 시험 실패 후 13회 도전 예정입니다.
0
54
1
Flink 2.0 버전부터 스칼라를 더이상 지원하지 않네요
0
195
2
Data Sink Topology 질문 있습니다
0
131
2
State Management & Fault Tolerance 부분 설명이 하나도 이해가 안 돼요
0
135
2