inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Dự án thí điểm dữ liệu lớn trong 15 ngày

cpu usage 에러

108

yukyung2130354

5 câu hỏi đã được viết

0

스크린샷 2025-02-11 034633.png

모니터링을 하고 싶은데 위 에러가 뜨더니 이후엔 Magnagement를 켜면 나머지 기능들에 에러가 나서 작동이 아예 안되는 수준입니다.

빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링

Câu trả lời 2

0

빅디

안녕하세요! 김유경님!

해당 에러는 경고성 메세지로 Java의 가비지컬랙션이 CPU 리소스 부족으로 오래 걸리고 있어 클라우드 매니져먼트 서버가 불안정 하다는 얘기입니다.

2가지 의견을 드리는데요..

Cloudera Management는 실시간 모니터링을 하지 못합니다. 그래서 활성화 후에도 1~2분정도 기달려야 정상적인 모니터링 값이 표기 됩니다.

두번째 김유경님의 파일럿 실습 환경의 물리적인 CPU or Memory 자원 부족 문제인데요..

요건 현재 파일럿 단계에서만 사용할 서버 또는 서비스만 실행하고 그외에는 비활성화 하는 방법으로 리소스를 최대한 확보하는 방법입니다.

우선 위 2가지 사항 체크해 보시고, 문제 지속시 글남겨 주세요~ ^^

-빅디 드림

0

yukyung2130354

내 이전 질문자들 답변 참고하여 필요없는 log 파일과 tar 파일 다 지우니 괜찮아졌습니다. 감사합니다

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 김유경님!

클라우데라 매니저에서 발생하는 CPU 사용량 에러는 주로 자바 가상 머신(JVM)에서의 가비지 컬렉션(GC) 작업이 과도하게 발생하는 경우 나타날 수 있습니다. 이는 시스템이 자원을 충분히 활용하지 못하거나, 메모리 설정이 적절하지 않은 경우에 발생할 수 있습니다.

이 문제를 해결하기 위해 다음과 같은 방법을 시도해 보세요:

  1. 메모리 설정 조정: 클라우데라 매니저와 같은 빅데이터 플랫폼은 메모리 사용에 민감하므로, 서버의 메모리 설정을 확인하시고 필요에 따라 조정해 보세요. 메모리를 추가할 수 있는 환경이라면, 서버의 물리적 메모리를 증가시키거나 JVM 옵션에서 메모리 할당을 조절할 수 있습니다.

  2. GC 설정 최적화: 자바 가상 머신의 가비지 컬렉션 설정을 조정하여 GC의 빈도를 줄이도록 해야 합니다. 예를 들어, JVM 옵션에서 -Xms-Xmx를 설정하여 메모리 사용량을 일정 범위로 고정해 볼 수 있습니다.

  3. 리소스 모니터링: 시스템의 CPU 사용량과 메모리 사용량을 지속적으로 모니터링하여 병목 현상이 발생하는 부분을 찾아 최적화하는 것이 중요합니다.

아래 링크들은 유사한 문제를 겪는 사용자를 위한 해결책을 다루고 있으니 참고하시기 바랍니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

주제영역3 데이타 조회 문의

0

30

2

환경 세팅 후 클라우데라매니저 삭제시

0

60

2

수강 기간 연장 부탁드립니다ㅠ

0

55

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

81

2

gcc 설치 에러

0

111

3

클러스터 설정 오류

0

83

2

클라우데라 클러스터 설치로 안넘어가짐

0

115

2

버추어박스 5.0 설치

0

135

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

75

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

145

3

환경세팅 질문있습니다.

0

102

2

버쥬얼박스

0

70

2

psycopg2==2.6.2. 에러

0

137

2

호스트 불량 문제에 관하여

0

104

2

하이브쿼리에서 에러가 나요...

0

163

3

하이브쿼리에서 에러

0

114

1

Hbase에 적재된 데이터 확인시 에러

0

145

2

파이썬 설치 시 에러

0

155

2

redis-cli 데이터 적재 확인

0

137

2

카프카 토픽 생성에서 에러

0

134

2

HDFS 명령어를 치는데 오류가 납니다

0

127

2

가상환경 내보내기

0

103

1

SpoolDIR 폴더로 옮기

0

96

2

쿼리 실행시 10000 에러

0

116

2