이해한게 맞는지 문의 드리고 싶습니다.
386
작성한 질문수 2
안녕하세요. 강의 끝까지 잘 들었습니다.
이해한 바가 맞는지 궁금해서 문의 드립니다.
카프카 커넥트
데이터 파이프라인을 반복적이라고 하는 것이 1분에 한번씩 브로커로 Record를 전송하고 이를 Consumer에서 가져와서 사용하는 경우에 카프카 커넥터가 적합하다고 하신 것으로 이해하면 될까요? 반면 1회 데이터를 Producer가 전송하고 Consumer가 처리하는 경우에는 일반적인 Producer/Consumer가 적합하다는 것으로 이해했는데 맞는지 궁금합니다.
Producer/Consumer or Source Connector/Sync Connector
Producer(Source Connector)쪽이 3개의 Server, Consumer쪽이 3개의 서버로 구성된다고 할때 실제 각 Producer/Consumer는 개별 서버에서 Application을 실행시켜줘야 하는 것으로 이해가 되는데 이게 맞을까요?
좋은 강의 제공해주셔서 감사합니다.
답변 1
1
안녕하세요.
카프카 커넥트에서 데이터 파이프라인을 '반복적으로 생성'한다는 의미는 말 그대로 파이프라인을 재생성할 수 있음을 뜻합니다. 예를 들어 카프카 토픽에서 mySQL의 테이블로 sink하는 mysqlSinkConnector가 있다고 가정했을 때, A토픽-A테이블로 이어지는 파이프라인, B토픽-B테이블로 이어지는 파이프라인 등등 여러 파이프라인을 configuration 변경만으로도 쉽게 반복해서 만들 수 있음을 뜻합니다.
어떤 방식으로 애플리케이션을 운영할 것인지 전략에 따라 다르겠습니다. 말씀하신대로 따로 개별 서버에서 애플리케이션을 운영하는 경우도 있고 모놀리틱으로 운영하는 경우도 있습니다. 이것은 개발하시는 환경의 요구사항에 따라 다릅니다.
consume 이후 lag가 줄어들지 않음
0
75
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
118
2
멱등성 프로듀서 retries 관련 질문입니다.
0
99
2
채팅 서비스 개발 시 주의점이 있을까요?
0
100
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
88
2
KTable 키가 없는 레코드 처리
0
73
2
컨슈머 테스트 코드 작성
0
94
2
리밸런스 onPartitionRevoked이 필요한 상황
0
74
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
120
2
reset offset 질문
0
77
2
KStreamJoinKTable 실행시 오류
0
78
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
142
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
117
1
java, kotlin
0
130
2
shutdownThread 에 대한 문의 입니다.
0
155
2
zookeeper실행시 오류가 발생합니다.
0
271
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
153
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
181
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
164
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
226
2
주키퍼 없이 사용 문의 드립니다.
0
303
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
281
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
220
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2