custom partitioner 을 이용한 메세지역전 현상 해결방안

원영님 안녕하세요. 강의 항상 잘듣고있습니다.

다름아니라, CDC커넥터에서 발생된 메시지 처리시

'메세지 역전현상'을 해결하기 위해 테이블의 PK값을 기준으로 특정 파티션으로 데이터가 보내질수 있도록 cusomPartitioner을 구현하고 commitSync로 메시지 순서를 보장하려고 하는데요.

ex)

1번 pk -> 1번 파티션 -> 1번 consumer.

2번 pk -> 2번 파티션 -> 2번 consumer.

이럴 경우에 특정파티션으로 데이터가 쏠리면 스케일아웃을 한 의미가 없어지더라구요. 실시간성이 요구되는 비지니스라 일정 이상의 TPS가 나와야되거든요.

문제 접근방식이 잘못됬는지... 메시지역전문제와 TPS 성능을 위해선 컨슈머에서 다른 도구들을 이용해서 해결해야 하는건지... 확신이 안서더라구요.. 혹시 비슷한 경험을 통해서 위와같은 문제를 해결해보셨다면 조언부탁드리겠습니다.

감사합니다!