ES CPU 사용량 관련하여 질문드립니다

Question

안녕하세요, 좋은 강의 감사드립니다. ES 트러블슈팅 사례들 중 메모리와 관련된 내용들이 많은 도움이 되었습니다. 그런데 메모리 외에 CPU 사용량과 관련하여 궁금증이 생겨 질문드립니다.   테스트용 쿠버네티스 환경에 ES 배포 후 로그 수집을 진행하면 CPU 사용량이 서서히 증가합니다. 거의 주 단위로 관찰해야 그 경향이 보이는 정도로 아주 미미한 수준인데, 일정 시점에 다다르면 다시 CPU 사용량이 배포 직후 수준으로 급감합니다.   이 또한 로그가 점점 쌓임에 따라 생긴 문제일까 싶어 인덱스들을 closed로 변경해보아도 유의미한 변화는 없었습니다. 다른 원인들을 찾아보려 여러 항목을 변경해봐도, ES를 재배포 하는 경우에만 다시 CPU 사용량이 감소했습니다. 혹시 ES가 갖는 어떤 특성에 따른 현상인지, 아니면 테스트 환경의 조건이나 설정의 문제인지 갈피를 잡기가 어려워 질문드립니다ㅠㅠ

강진우 · Answer

네. 이건 저랑 지속적으로 추적 하면서 원인을 밝혀 보면 좋겠네요. 보통 CPU 사용량이 증가하는 경우는 색인되는 문서가 지속적으로 증가하는 경우 외에는 없습니다. 문서가 초당 100개씩 쌓이다가 초당 1,000개씩 쌓이게 된다면 CPU 사용량은 당연히 증가하게 되겠죠. 하지만 색인되는 문서의 수가 일정한데 CPU 사용량이 증가한다는 건 다른 곳에 원인이 있을 가능성이 큽니다. 위 그래프는 OpenSearch의 CPU 사용량을 CloudWatch를 통해 확인한 그래프인데 (3일치) 색인되는 문서의 수에 따라 CPU 사용량이 일정한 패턴을 그리는 것을 볼 수 있습니다. 아마도 쿠버네티스 환경에서 ES를 사용하기 때문에 ES 자체의 이슈 보다는 쿠버네티스와 관련된 이슈가 있을 것으로 보이는데요, CPU 사용량 그래프 패턴을 같이 보면 좋을 것 같습니다. 혹시 다른 파드들의 영향을 받는 건 아닐지, ES를 제외한 다른 모든 파드들을 제거하고 살펴봐도 좋을 것 같구요. 그리고 다른 메트릭들 (JVM 메모리 사용량, Load Average)의 패턴을 함께 살펴보는 것도 좋을 것 같습니다.