빅디

안녕하세요! dalki7711 님!요즘엔 아래 인프런 AI인턴이 저보다 빠르게 잘 설명해주네요!! ^^;;&nbsp;제가 좀만더 커맨트 드리자면 다음과 같습니다.삭제 하셔도 되는데...여러 서비스들을 수동관리 해야 하기 때문에 많이 불편 하실 수 있습니다.평가판이 만료되도, 파일럿프로젝트 진행에는 영향이 없으니 걱정하지 않으셔도 되고요~&nbsp;강의에서처럼 Cloudera Manager가 모니터링 관리도구니깐, 실습중에 중지시켜서 실습PC의 Cpu/Memory 자원을 효율적으로 사용하시는 방식을 추천드립니다.&nbsp;-빅디 드림

환경 세팅 후 클라우데라매니저 삭제시

안녕하세요! outofmtx님!진도가 너~무 안나갔는데요!! ^^꼭~ 완강하세요!!! -빅디 드림

수강 기간 연장 부탁드립니다ㅠ

안녕하세요! 빅디 입니다.Cloudera Manager가 정상 기동 되는데는, 파일럿 PC 환경에 따라 짧게는 2분~5분 정도의 시간이 소요 됩니다.다음 사항들을 체크해 봐 주세요~1. VM Server01,02를 실행&nbsp;2. Server01에 Putty로 접속을 해서 아래 명령으로 "cloudera-scm-server is running..." 메세지 확인&nbsp; &nbsp; $ service cloudera-scm-server status3. 5분 뒤에, 위 2번 과정을 실행해 "cloudera-scm-server is running..." 메세지 여부 확인4. 크롬브라우져에서 <a target="_blank" rel="noopener noreferrer nofollow" href="http://server01.hadoop.com:7180">http://server01.hadoop.com:7180</a> 접속 확인5. 크롬브라우져에서 <a target="_blank" rel="noopener noreferrer nofollow" href="http://192.168.56.101:7180">http://192.168.56.101:7180</a> 접속 확인&nbsp;참고로 로그인 ID/PW는 admin/admin 입니다. -빅디 드림

클라우데라 매니저 접속 불가 및 로그인 정보 문의

안녕하세요! 현지원님!!! 제가 한발 늦었네요...^^;;너~무 잘하셨습니다!!!!!! -빅디 드림

gcc 설치 에러

안녕하세요! 현지원님!메리 추석 입니다. ^^아래 인프런 AI 인턴이 잘 답변을 한것 같은데요..올려주신 스크린샷중 stderr 로그를 보면,하둡의 네임노드가 Safe Mode 상태로 진입 한 것 같습니다.아래 내용 참고해 보시고요.간단히 말씀드리자면 Server01에 Putty로 접속 후, 아래 명령으로 Safe Mode를 해제 하시면 됩니다.&nbsp;hdfs dfsadmin -safemode leave&nbsp;-빅디 드림&nbsp;

클러스터 설정 오류

안녕하세요! 냄비뚜껑용사님!닉네임 빵! 터졌습니다. ^^버츄얼박스는 최신버젼 이용 하시면 됩니다~-빅디 드림

버추어박스 5.0 설치

안녕하세요! 이유진님!먼저 파일럿 프로젝트 끝까지 파이팅 해주셔서 보기 너무 좋습니다. ^^;지금 단계의 워크플로우 작업시 가장 헷갈릴 수 있는게 업무일자(biz_date)와 작업일자(wrk_date) 인데요, 업무일자는 데이터가 발생한 시간, 작업일자는 적재 시간으로 보시면 됩니다.참고로 강의중 매개변수로 넣은 "20200322"는 제가 강의 제작시의 작업일자 입니다. 올려주신 스크린샷의 내용으로 봤을때 wrk_date가 25년 6월25일 , 6월28일로 확인이 되는데요..매개변수 날짜를 이 작업일자 기준으로 테스트 부탁 드립니다. ^^20200322 --> 20250628-빅디 드림&nbsp;

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

안녕하세요! 이유진님!! 답변이 많이 늦었습니다....^^;; 올려주신 두개의 에러 로그들은 관련성이 있으면서도 다른 원인들로 보이는데요~첫번째는 내용의 핵심은 다음 아래 부분인것 같습니다.Server ErrorCaused by:java.lang.ArrayIndexOutOfBoundsException: 4 at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.containerLogPageRedirectPath(NMWebAppFilter.java:81)보면 얀의 노드매니져가 해당 하이브쿼리를 실행하기 위한 워크로드를 찾다가 IndexOutOfBounds가 발생할 것으로 보이고요, 아마도 이때 하둡의 얀의 Node 메니져 또는 실행한 컨테이너가 셧다운 되어 있을 확율이 높습니다.&nbsp;두분째는 실행하신 쿼리는 다시 Map/Reduce로 변환이 되어 실행이 되는 과정에서, Map과 Reduc 모두 진행상태가 0%인 것으로 봤을때, 자원 부족 또는 HDFS의 비정상 상태(Safe Mode or corrupt blocks 등)가 원인일 수 잇습니다.&nbsp;우선 원인을 좁혀 보기 위해서요, 하둡, 하이브, 얀 등을 모두 재기동 해주시고요~하이브 에디터에서 아래 쿼리가 작동하는지 확인 부탁드립니다. ^^select * from SmartCar_Status_Info limit 10;&nbsp;-빅디 드림

Hue 500 Error 어떻게 해결할 수 있나요?

안녕하세요! 빅디 입니다.IDE 및 버츄얼박스 모두 상위버젼을 설치 하셔도 괜찮습니다. ^^다만 이클립스는 소스 분석 및 커스터마이징 용이고요,버츄얼박스는 작업 PC와 호완성 문제시 낮은버젼 설치 상황이 있을 수 있습니다~파일럿프로젝트 끝까지 완주 하세요!- 빅디 드림

환경세팅 질문있습니다.

안녕하세요! 김원집님!음...보여주신 내용으론 원인 파악이 좀 어려워 보이는데요~ ^^;아직 해결되지 않았다면,우선 휴를 삭제하고,HDFS,YARN, 하이브등 의존성 패키지 정상여부 확인하고,다시 휴를 설치해봐 주세용!참고로 휴는 다른 솔루션들과에 의존성이 커서 관련 패키지의 정상 여부를 절 체크해 보셔야 합니다.-빅디 드림

빅디

投稿