connector의 적정 tasks.max 값은 어떻게 될까요?
790
작성한 질문수 5
s3 sink connector 설정 관련해서 문의드립니다.
적절한 tasks.max의 값은 어떻게 될까요?
여러 요인이 있겠지만 특히 토픽의 파티션 개수와 관련하여 정해야하는지 문의드립니다.
답변 1
1
안녕하십니까,
제가 s3 sink connector는 사용해 보지 않았지만,
(s3 sink connector가 제대로 구현되었다면) 말씀하신대로 tasks.max는 여러개의 파티션이 있을 때 적용해 주면 좋습니다.
기본적으로 sink connector의 tasks.max는 sink connector에서 consumer thread의 tasks.max만큼 띄우게 됩니다.
tasks.max가 4라면 4개의 Consumer Thread가 띄워질 수 있는데, 만약에 Topic의 Partition이 4라면 개별 Consumer별로 하나의 Partition으로 최적 성능을 발휘 할 수가 있습니다. tasks.max가 4이고 Partition이 8이라면 1개의 Consumer가 2개의 Partition을 담당할 수 있습니다.
하지만 무조건 tasks.max를 증가시킨다고 성능이 선형적으로 증가하지는 않습니다. Consumer가 수행되는 시스템의 CPU Core (1 core에 1 Consumer가 적당)나 I/O 대역등의 영향이 있기 때문입니다.
감사합니다.
계속 csv파일을 폴더로 인식하는 중입니다.
0
148
2
cdc failover
0
133
2
avro plugin에 안보이는거 같아요
0
142
2
zookeeper가 실행이 안되요
0
185
3
Debezium CDC Source Connector 이벤트 메시지
0
150
2
재 질문! 다른 connector가 동일 토픽 사용
0
127
2
메시지 발행이 안 됩니다.
0
152
2
디비지움 오프셋 리셋
0
186
2
mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.
0
146
3
io.debezium.connector.mysql.MySqlConnector 질문
0
125
2
Debezium 이벤트 메시지 발행 시 성공여부
0
140
2
connect 구동 오류
0
201
3
CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.
0
182
2
GCSSinkconnector
0
107
1
debezium source connector에서 `poll.interval.ms` 파라미터
0
200
2
자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.
0
279
1
table.name.format에 관하여..
0
278
2
binlog와 offset 관련 추가 질문드립니다
0
193
1
Debezium cdc source for MSSQL-Server [등록오류]
0
251
2
http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.
0
282
2
안녕하세요 sink connector 생성 config 관련 질문입니다.
0
196
2
수강환경 VirtualBox -> Docker
0
270
2
일반적인 예시들이 궁금해서 질문 남깁니다.
1
179
2
debezium connector schema 찾지 못하는 오류
0
521
2