그라파나 대시보드 싱크

Question

안녕하세요 강의 잘 듣고있습니다! 그라파나 대시보드 관련해서 싱크가 안맞는? 문제가 있어서 질문드립니다! 제가 테스트로 nginx 파드를 scale을 통해 2개로 늘렸다가 다시 1개로 변경했는데 여전히 2개의 파드가 그라파나에서 출력됩니다. 대시보드를 지우고 다시 만들어도 동일하게 2개의 파드가 나오는데 어떻게 해결할 수 있을까요? (프로메테우스나 EKS 환경에서 확인해보면 정확히 1개 의 파드만 있는 상황)

Ongja_CloudNet@ · Answer

안녕하세요. CloudNet@ 팀입니다.   질문하신 상황에 대해 간단히 재현 테스트를 해보았고 결론적으로 동일한 증상이 나타나네요. 하지만 제가 테스트할 때는 일정 시간이 지나면 1대로 복구되는 현상을 볼 수 있었습니다. (약 15분)   nginx deployment의 replica를 2로 조정 (최초 1) => 그라파나 대시보드를 새로 고침하니 2개의 nginx 파드 대상이 모니터링되네요.   nginx deployment의 replica를 1로 조정 => nginx 파드를 1대로 변경해도 그라파나 대상에는 2대로 잡혀있네요.   [체크 사항] nginx 앞단에 위치한 alb 확인 => 혹시나 alb 대상 그룹의 대상 서버 유지로 표현되나 싶어서 확인해 보았습니다. => 파드가 삭제되어도 alb 대상 그룹의 대상 서버는 draining 상태로 일정 시간 유지 => draining 유지 시간은 300초로 5분!!   => 5분 후 draining 대상이 사라지고... => 다시 그라파나 대시보드를 확인해도 2대로 유지중ㅠ (스샷을 놓쳤네요)   [체크 사항] 프로메테우스 nginx-exporter 정보 확인 => 역시 1대만 유지 중... => 다시 그라파나 대시보드를 확인해도 2대로 유지중ㅠ (스샷을 놓쳤네요)   [체크 사항] 조금 더 기다려보자... => 혹시 몰라 1초 간격으로 nginx 접속하는 트래픽을 걸어두었고... => 약 15분 후 그라파나 대시보드 새로고침하면 1대로 변경되었네요. (15분은 대략적인 시간입니다.)   일단 그라파나에서 대시보드라는 것이 공인된 형태로 만들어 진 것이 아니고 커뮤니티 성으로 만들고 공유하는 개념이라 어쩌면 무언가 불안정할 수 있다고 생각되네요. 이점 참고 바랍니다.   감사합니다.