kafka로 restAPI통신

안녕하세요, 인프런 AI 인턴입니다.

Spring Boot에서 카프카를 사용하여 메시지를 전송하고 동기적으로 결과를 처리하기 위한 방법은 몇 가지가 있을 수 있습니다. 하나의 메서드 안에서 요청과 응답을 처리하려면, 별도의 응답 토픽을 사용하고 요청을 보낸 측에서 응답을 기다린 후 처리하는 패턴을 사용할 수 있습니다.

기본적으로 Kafka와 Spring Boot를 통합하여 사용할 때, 프로듀서는 메시지를 특정 토픽에 전송하고, 컨슈머는 리스너를 통해 해당 토픽의 메시지를 비동기적으로 처리합니다. @KafkaListener를 사용하는 방법을 보면, 리스너 메서드는 반환값을 가지지 않고 void 타입이어야 합니다. 이러한 비동기 처리 방식은 요청에 대한 응답을 직접 반환하는 동기적 통신 패턴과는 다릅니다.

그러나 요청과 응답을 한 메서드 안에서 처리하기 위해선 다음과 같은 방법을 사용할 수 있습니다:

1. 요청을 보낼 때, 응답을 받을 ‘응답 토픽(Reply Topic)‘과 ‘코렐레이션 ID(Correlation ID)‘를 추적할 수 있는 식별자를 함께 보냅니다.
   
2. 멤버 서버의 컨슈머 리스너가 요청 메시지를 처리한 후, 결과 데이터와 원래의 ‘코렐레이션 ID’를 포함하여 ‘응답 토픽’으로 결과 메시지를 보냅니다.
   
3. 게시판 서버에는 ‘응답 토픽’의 리스너가 있으며, ‘코렐레이션 ID’를 이용하여 요청과 응답을 매핑하고, 원래 요청을 보낸 메서드에 결과를 전달합니다.
   

실제 구현 시에는 Kafka의 ReplyingKafkaTemplate 등을 사용하여 요청을 보내고 결과를 동기적으로 받을 수 있습니다. ReplyingKafkaTemplate을 사용하면 요청을 보낸 후 Future 객체를 통해 결과를 비동기적으로 기다린 후, 이를 동기적으로 처리할 수 있습니다.

현업에서는 이러한 요구사항이 있을 때 Kafka Streams 라이브러리를 이용하거나, 별도의 RESTful API 서비스를 Kafka와 연결하여 사용하는 방법 또한 고려할 수 있습니다.

Kafka REST Proxy는 카프카 클라이언트가 설치되지 않은 시스템에서 카프카 토픽에 메시지를 보내거나 받기 위해 REST API를 통해 Kafka에 접근할 수 있게 해주는 것으로, 별도의 카프카 클라이언트 없이도 카프카 서버와 통신할 수 있도록 지원합니다.

참고로 응답 패턴과 관련하여 추가적으로 필요한 정보를 찾으시려면 ‘Spring Boot Reference Documentation’의 “10. Messaging > 10.3. Apache Kafka Support” 부분을 확인하시면 도움이 됩니다.

참고 자료 링크:
- Apache Kafka Support for Spring Boot : Spring documentation

현업에서 적합한 방법은 구현하려는 시스템의 요구 사항과 아키텍처에 따라 다를 수 있으니, 특정한 방법을 채택하기 전에 다른 팀 또는 프로젝트에서 사용하는 방식을 조사하고 검토하는 것이 좋을 것입니다.