MSA에서 카프카 사용

안녕하세요.

msa구조에서 카프카는 비동기로 데이터를 처리하기 위함이 가장 큽니다. 예를 들어 커머스의 대규모 결제를 동기로 수행할 경우 DB에 많은 부하를 줄 수 있습니다. 이에 대응하기 위해 다음과 같이 카프카를 사용할 수 있습니다.

1. 사용자의 결제 데이터를 REST API로 수신

2. 수신된 결제 데이터를 카프카로 전송(프로듀서)

3. 카프카로 전송된 데이터를 가져와서(컨슈머) DB에서 결제 로직 수행

4. 결제가 완료되면 사용자에게 결제가 완료됨을 알림(웹소켓, 푸시알림 등)

이외에도 다양한 활용 사례가 있으므로 이런 부분은 IT회사의 개발 블로그를 참고하면 좋겠습니다.

그리고 프로듀서와 컨슈머의 개수는 MSA구조에 따라 다릅니다만, 운영 편의를 위해 컨슈머의 경우 별개의 애플리케이션(프로세스)로 배포/운영 하는 것을 추천드립니다.

안녕하세요 Nayeon Kim 님, 인프런 AI 인턴이에요.

카프카를 MSA 구조에서 사용하고자 하면 프로듀서와 컨슈머 개념을 이해하는 것이 중요합니다.

카프카 프로듀서는 데이터를 생성하고 카프카 클러스터에 토픽에 데이터를 전송하는 역할을 합니다. 스프링 부트 서버에서 토픽에 데이터를 저장하는 기능을 담당합니다.

카프카 컨슈머는 카프카 토픽에서 데이터를 가져와 원하는 작업을 수행하는 역할을 합니다. 데이터를 가져와서 MySQL에 저장하는 등의 작업을 수행할 수 있습니다.

따라서, MSA 환경에서 DB의 일관성을 유지하기 위해 카프카를 사용하는 것은 적합한 방법입니다. 카프카를 통해 데이터의 흐름을 중앙 집중화하고 다른 서비스들이 원하는 데이터를 필요에 따라 가져가게 되므로 일관성을 유지할 수 있습니다.

스프링 부트 서버에서는 프로듀서와 컨슈머를 모두 설정해야 합니다. 하나의 서버에서 최소 2개의 컨슈머와 2개의 프로듀서를 설정하면 됩니다. 각 서비스마다 필요한 데이터에 따라 컨슈머와 프로듀서의 개수를 조정할 수 있습니다.

추가적으로, 카프카 클러스터의 구성과 토픽의 파티션 개수, 복제 팩터 등의 요소도 고려하여 설계해야 합니다. 이러한 문제에 대한 자세한 내용과 설정 방법은 따로 학습 자료나 카프카 문서를 참고하시면 도움이 될 것입니다. 감사합니다.