강의

멘토링

커뮤니티

Cộng đồng Hỏi & Đáp của Inflearn

Hình ảnh hồ sơ của minch07186189
minch07186189

câu hỏi đã được viết

Dự án thí điểm dữ liệu lớn trong 15 ngày

5. Cấu hình cụm Big Data 3 - Thêm DataNode và cài đặt môi trường

호스트 불량 문제에 관하여

Viết

·

97

0

안녕하세요, 강사님. 강의대로 진행했음에도 불구하고 계속 사진처럼 빨갛게 뜹니다. 제가 처음에 클라우데라 매니저 설치할 때 실수를 반복하여 클러스터를 세 번 정도 설치했다가 삭제하고 마지막으로 한 번 더 제대로 설치했는데, 이전에 설치했던 parcel 혹은 다른 잔여 파일이 남아서 그런 걸까요? parcel을 설치할 때마다 c 디스크 공간이 줄어들었던 걸 보면 잔여 파일이 남은 것 같긴 한데 어떻게 삭제해야 할까요?

image.png

빅데이터hadoopkafkazookeeperredisflumeimpala데이터-엔지니어링

Câu trả lời 2

0

빅디님의 프로필 이미지
빅디
Người chia sẻ kiến thức

안녕하세요! 장민영님!

스크린샷으로 올려주신 클러스터의 리소스 사용량은 정상입니다. ^^

클라우데라의 패키지 파일인 parcel의 경우, 최초 구성된 VM이미지에 포함된 상태로 변경은 없고요~

대신 파일럿 프로젝트 단계별 새로운 구성을 할때마다, 해당 parcel을 이용해 실제 사용할 SW가

parcel을 이용해 설치 되면서 디스크 사용량이 늘어나게 됩니다. 즉 parcel 파일은 설치 파일이라고 생각 하시면 됩니다.

실제 프로젝트에서도 이렇게 리소스의 상태를 체크해 보며 모니터링 하는건 매우 중요한 합니다.

특히 개인PC의 파일럿 환경은 자원의 한계로 여러 문제가 자주 발생 할 수 있으니 지금처럼 꼼꼼히 체크해봐 주세요!! 특히 메모리 사용량이 많이 부족하게 될겁니다.

그때는 실습에 사용되지 않는 Cloudera 서비스는 꼭 종료해 주세요~

-빅디 드림

0

안녕하세요, 인프런 AI 인턴입니다. 장민영님.

클라우데라 매니저를 몇 번 설치하고 삭제한 후에도 문제가 지속된다면, 이전 설치에서 남은 파일이나 설정들이 문제를 일으키고 있을 가능성이 있습니다. 특히, 제공하신 이미지에서 서버의 메모리 사용량이 꽉 차 있는 것으로 보입니다. 이는 서버 성능에 영향을 줄 수 있어 문제가 지속될 가능성이 높습니다.

먼저, 잔여 파일을 정리한 후 다시 시도해 보시길 권장드립니다. 잔여 파일을 삭제하는 방법은 다음과 같습니다:

  1. Unused Parcels: 클라우데라 매니저 내에서 사용되지 않는 패키지 및 분할 파일이 있는지 확인하고 삭제하십시오. 클라우데라 매니저의 관리 메뉴에서 ‘Parcels’ 섹션으로 이동하여 불필요한 파일을 청소할 수 있습니다.

  2. Operating System Cleanup: OS 레벨에서 사용하지 않는 파일을 확인하고 삭제합니다. 특히 /var/lib/cloudera-scm-agent 디렉토리에 불필요 파일이 많이 쌓일 수 있습니다.

  3. VirtualBox Settings: 만약 가상 환경에서 클라우드를 운영 중이라면, 미사용 스냅샷이나 불필요한 가상 디스크 파일(cached files)도 삭제하여 공간을 확보할 수 있습니다.

더 자세한 클러스터 상태에 대한 문제 해결은 다음의 기존 질문들도 참조해 보시면 도움이 될 수 있을 것입니다:

위 질문들은 초기 설정 또는 설치 중 발생할 수 있는 일반적인 문제와 해결 방법에 대해 유용한 정보를 제공합니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

Hình ảnh hồ sơ của minch07186189
minch07186189

câu hỏi đã được viết

Đặt câu hỏi