백그라운드 스레드 Sender에 대한 예외처리도 가능한가요?

Question

KafkaProducer의 send 메소드를 try-catch 하면 아래와 같은 예외는 잡을 수 있는데요   Throws: AuthenticationException – if authentication fails. See the exception for more details AuthorizationException – fatal error indicating that the producer is not allowed to write IllegalStateException – if a transactional.id has been configured and no transaction has been started, or when send is invoked after producer has been closed. InterruptException – If the thread is interrupted while blocked SerializationException – If the key or value are not valid objects given the configured serializers TimeoutException – If the record could not be appended to the send buffer due to memory unavailable or missing metadata within max.block.ms. KafkaException – If a Kafka related error occurs that does not belong to the public API exceptions. Batch 로 레코드를 묶어서 실제로 브로커에게 전송하는 Sender Thread 에서 네트워크 이슈 등으로 실패하면 어떻게 처리해야할지가 궁금합니다. (retries가 아닌 예외로 잡는 방법이 없을까요? ㅠㅠ)

권 철민 · Answer

안녕하십니까, 네트웍 장애가 광범위해서 Exception을 특정할 수는 없지만, 보통은 네트웍 문제 시 TimeoutException이 발생합니다. TimeoutException 설명은 아래와 같이 send buffer에 메모리가 더 이상 여유가 없어서 발생한다고 되어 있습니다. imeoutException – If the record could not be appended to the send buffer due to memory unavailable or missing metadata within max.block.ms . 근데 주로 send buffer에 메모리가 가득 차는 이유는 Sender Thread가 네트웍이나 Kafka Broker가 Down되는 경우등으로 인해서 Kafka Broker로 메시지를 보내지 못하기 때문에 send buffer가 비워지지 않고 가득 차는 이유가 가장 큽니다. 때문에 네트웍에 문제가 생기면 주로 TimeoutException이 발생합니다.   감사합니다.