-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
Cloudera 내 구성 에러
24.01.26 13:31 작성 조회수 62
0
안녕하세요.
수업 감사히 잘 듣고 있습니다.
저는 위와 같은 경고 알림이 계속해서 발생하는데요
"Cloudera Manage Server GC cpu usage is at 10% or more of total process time."
그런데, 수업 시간에는 zookeeper와 관련되어 디스크 공간의 임계치가 넘어서 그렇다고 설명해주신 부분을 듣고, 해당 경고도 이와 비슷한 원인인지 궁금하여, 문의드립니다.
만약 실습 간 치명적인 경고라면, 해결 방법도 알려주시면 감사하겠습니다.
감사합니다.
답변을 작성해보세요.
0
Big.D
지식공유자2024.01.26
안녕하세요! "Junhui Woo"님!
결론부터 말씀드리자면 파일럿 프로젝트에선 치명적인 메세지는 아닙니다.
Cloudera Manager는 관리하는 모든 인스턴스들의 자원(Cpu, Memory, Disk, Netork 등)을 모니터링해서
자원의 사용률이 특정 임계치에 도달하면 경고 메세지를 보내 줍니다.
실제 운영환경이라면 임계치에 다달은 서버의 자원을 늘리거나 워크로드를 줄여서 안정화 시키는 작업을 해야 합니다.
파일럿 프로젝트는 개인의 PC에서 팍팍하게 작동 되는 만큼 해당 메세지를 피할 수 는 없습니다.
(대신 Cloudera Manager에서 해당 임계치값을 조정해서 경고 메세지를 최소화 할 순 있습니다.)
보내주신 메세지는 Cloudera Manager서버에서 GC(Garbage Collection)가 발생했고, 이 GC를 처리하는데 임계치 시간을 초과 했다는 메세지 인데요...
이건 자바의 GC 메커니즘을 좀더 공부 하셔야만 이해가 되실 수 있지만, 간단히 말씀드리면..
GC란 자바의 JVM의 힙메모리에서 불필요한 데이터를 주기적으로 클린징 해주는 작업을 말하는데요,
GC가 작동하는 순간 Java컨텍스트에서 작동중인 프로그램들이 일시적으로 멈추게 됩니다.
이때 GC처리 시간이 너무 길면, 서비스가 중단 되고, 장애로 확대 될 수 있습니다.
그래서 Cloudera Manager에서 GC 시간이 너무 오래 걸리니, 주심하라고 경고 메세지를 주는 겁니다.
파일럿 환경에서 흔히 발생 할 수 있는 현상이고, 실습 진행에는 영향을 주진 않습니다~
파일럿 프로젝트 끝까지 화이팅 해주세요~ -빅디 드림
답변 1