connector의 적정 tasks.max 값은 어떻게 될까요?
761
작성한 질문수 5
s3 sink connector 설정 관련해서 문의드립니다.
적절한 tasks.max의 값은 어떻게 될까요?
여러 요인이 있겠지만 특히 토픽의 파티션 개수와 관련하여 정해야하는지 문의드립니다.
답변 1
1
안녕하십니까,
제가 s3 sink connector는 사용해 보지 않았지만,
(s3 sink connector가 제대로 구현되었다면) 말씀하신대로 tasks.max는 여러개의 파티션이 있을 때 적용해 주면 좋습니다.
기본적으로 sink connector의 tasks.max는 sink connector에서 consumer thread의 tasks.max만큼 띄우게 됩니다.
tasks.max가 4라면 4개의 Consumer Thread가 띄워질 수 있는데, 만약에 Topic의 Partition이 4라면 개별 Consumer별로 하나의 Partition으로 최적 성능을 발휘 할 수가 있습니다. tasks.max가 4이고 Partition이 8이라면 1개의 Consumer가 2개의 Partition을 담당할 수 있습니다.
하지만 무조건 tasks.max를 증가시킨다고 성능이 선형적으로 증가하지는 않습니다. Consumer가 수행되는 시스템의 CPU Core (1 core에 1 Consumer가 적당)나 I/O 대역등의 영향이 있기 때문입니다.
감사합니다.
계속 csv파일을 폴더로 인식하는 중입니다.
0
69
2
cdc failover
0
70
2
avro plugin에 안보이는거 같아요
0
70
2
zookeeper가 실행이 안되요
0
77
3
Debezium CDC Source Connector 이벤트 메시지
0
86
2
재 질문! 다른 connector가 동일 토픽 사용
0
67
2
메시지 발행이 안 됩니다.
0
77
2
디비지움 오프셋 리셋
0
96
2
mysql_jdbc_oc_sink_customers_02.json 에서 오류납니다.
0
71
3
io.debezium.connector.mysql.MySqlConnector 질문
0
68
2
Debezium 이벤트 메시지 발행 시 성공여부
0
82
2
connect 구동 오류
0
99
3
CDC Connect 통시에서의 암호화 관련 하여 문의 드립니다.
0
122
2
GCSSinkconnector
0
66
1
debezium source connector에서 `poll.interval.ms` 파라미터
0
145
2
자문자답: JDBC Sink Connector가 PostgreSQL의 Schema를 바라보지 않습니다.
0
213
1
table.name.format에 관하여..
0
197
2
binlog와 offset 관련 추가 질문드립니다
0
151
1
Debezium cdc source for MSSQL-Server [등록오류]
0
192
2
http http://localhost:8083/connector-plugins 시 플러그인이 보이지 않습니다.
0
191
2
안녕하세요 sink connector 생성 config 관련 질문입니다.
0
165
2
수강환경 VirtualBox -> Docker
0
231
2
일반적인 예시들이 궁금해서 질문 남깁니다.
1
148
2
debezium connector schema 찾지 못하는 오류
0
436
2