그라파나 대시보드 싱크

안녕하세요. CloudNet@ 팀입니다.

질문하신 상황에 대해 간단히 재현 테스트를 해보았고 결론적으로 동일한 증상이 나타나네요.

하지만 제가 테스트할 때는 일정 시간이 지나면 1대로 복구되는 현상을 볼 수 있었습니다. (약 15분)

1. nginx deployment의 replica를 2로 조정 (최초 1)

=> 그라파나 대시보드를 새로 고침하니 2개의 nginx 파드 대상이 모니터링되네요.

2. nginx deployment의 replica를 1로 조정

=> nginx 파드를 1대로 변경해도 그라파나 대상에는 2대로 잡혀있네요.

3. [체크 사항] nginx 앞단에 위치한 alb 확인

=> 혹시나 alb 대상 그룹의 대상 서버 유지로 표현되나 싶어서 확인해 보았습니다.

=> 파드가 삭제되어도 alb 대상 그룹의 대상 서버는 draining 상태로 일정 시간 유지

=> draining 유지 시간은 300초로 5분!!

=> 5분 후 draining 대상이 사라지고...

=> 다시 그라파나 대시보드를 확인해도 2대로 유지중ㅠ (스샷을 놓쳤네요)

4. [체크 사항] 프로메테우스 nginx-exporter 정보 확인

=> 역시 1대만 유지 중...

=> 다시 그라파나 대시보드를 확인해도 2대로 유지중ㅠ (스샷을 놓쳤네요)

5. [체크 사항] 조금 더 기다려보자...

=> 혹시 몰라 1초 간격으로 nginx 접속하는 트래픽을 걸어두었고...

=> 약 15분 후 그라파나 대시보드 새로고침하면 1대로 변경되었네요. (15분은 대략적인 시간입니다.)

일단 그라파나에서 대시보드라는 것이 공인된 형태로 만들어 진 것이 아니고 커뮤니티 성으로 만들고 공유하는 개념이라 어쩌면 무언가 불안정할 수 있다고 생각되네요. 이점 참고 바랍니다.

감사합니다.