Big.D
@빅디
수강생
1,179
수강평
122
강의 평점
4.8
금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다.
강의
수강평
- 15일간의 빅데이터 파일럿 프로젝트
- 15일간의 빅데이터 파일럿 프로젝트
- 15일간의 빅데이터 파일럿 프로젝트
게시글
질문&답변
클라우데라 매니저 접속 불가 및 로그인 정보 문의
안녕하세요! 빅디 입니다.Cloudera Manager가 정상 기동 되는데는, 파일럿 PC 환경에 따라 짧게는 2분~5분 정도의 시간이 소요 됩니다.다음 사항들을 체크해 봐 주세요~1. VM Server01,02를 실행 2. Server01에 Putty로 접속을 해서 아래 명령으로 "cloudera-scm-server is running..." 메세지 확인 $ service cloudera-scm-server status3. 5분 뒤에, 위 2번 과정을 실행해 "cloudera-scm-server is running..." 메세지 여부 확인4. 크롬브라우져에서 http://server01.hadoop.com:7180 접속 확인5. 크롬브라우져에서 http://192.168.56.101:7180 접속 확인 참고로 로그인 ID/PW는 admin/admin 입니다. -빅디 드림
- 0
- 2
- 22
질문&답변
gcc 설치 에러
안녕하세요! 현지원님!!! 제가 한발 늦었네요...^^;;너~무 잘하셨습니다!!!!!! -빅디 드림
- 0
- 3
- 42
질문&답변
클러스터 설정 오류
안녕하세요! 현지원님!메리 추석 입니다. ^^아래 인프런 AI 인턴이 잘 답변을 한것 같은데요..올려주신 스크린샷중 stderr 로그를 보면,하둡의 네임노드가 Safe Mode 상태로 진입 한 것 같습니다.아래 내용 참고해 보시고요.간단히 말씀드리자면 Server01에 Putty로 접속 후, 아래 명령으로 Safe Mode를 해제 하시면 됩니다. hdfs dfsadmin -safemode leave -빅디 드림
- 0
- 2
- 39
질문&답변
버추어박스 5.0 설치
안녕하세요! 냄비뚜껑용사님!닉네임 빵! 터졌습니다. ^^버츄얼박스는 최신버젼 이용 하시면 됩니다~-빅디 드림
- 0
- 2
- 76
질문&답변
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
안녕하세요! 이유진님!먼저 파일럿 프로젝트 끝까지 파이팅 해주셔서 보기 너무 좋습니다. ^^;지금 단계의 워크플로우 작업시 가장 헷갈릴 수 있는게 업무일자(biz_date)와 작업일자(wrk_date) 인데요, 업무일자는 데이터가 발생한 시간, 작업일자는 적재 시간으로 보시면 됩니다.참고로 강의중 매개변수로 넣은 "20200322"는 제가 강의 제작시의 작업일자 입니다. 올려주신 스크린샷의 내용으로 봤을때 wrk_date가 25년 6월25일 , 6월28일로 확인이 되는데요..매개변수 날짜를 이 작업일자 기준으로 테스트 부탁 드립니다. ^^20200322 --> 20250628-빅디 드림
- 0
- 2
- 41
질문&답변
Hue 500 Error 어떻게 해결할 수 있나요?
안녕하세요! 이유진님!! 답변이 많이 늦었습니다....^^;;올려주신 두개의 에러 로그들은 관련성이 있으면서도 다른 원인들로 보이는데요~첫번째는 내용의 핵심은 다음 아래 부분인것 같습니다.Server ErrorCaused by:java.lang.ArrayIndexOutOfBoundsException: 4 at org.apache.hadoop.yarn.server.nodemanager.webapp.NMWebAppFilter.containerLogPageRedirectPath(NMWebAppFilter.java:81)보면 얀의 노드매니져가 해당 하이브쿼리를 실행하기 위한 워크로드를 찾다가 IndexOutOfBounds가 발생할 것으로 보이고요, 아마도 이때 하둡의 얀의 Node 메니져 또는 실행한 컨테이너가 셧다운 되어 있을 확율이 높습니다. 두분째는 실행하신 쿼리는 다시 Map/Reduce로 변환이 되어 실행이 되는 과정에서, Map과 Reduc 모두 진행상태가 0%인 것으로 봤을때, 자원 부족 또는 HDFS의 비정상 상태(Safe Mode or corrupt blocks 등)가 원인일 수 잇습니다. 우선 원인을 좁혀 보기 위해서요, 하둡, 하이브, 얀 등을 모두 재기동 해주시고요~하이브 에디터에서 아래 쿼리가 작동하는지 확인 부탁드립니다. ^^select * from SmartCar_Status_Info limit 10; -빅디 드림
- 0
- 3
- 84
질문&답변
환경세팅 질문있습니다.
안녕하세요! 빅디 입니다.IDE 및 버츄얼박스 모두 상위버젼을 설치 하셔도 괜찮습니다. ^^다만 이클립스는 소스 분석 및 커스터마이징 용이고요,버츄얼박스는 작업 PC와 호완성 문제시 낮은버젼 설치 상황이 있을 수 있습니다~파일럿프로젝트 끝까지 완주 하세요!- 빅디 드림
- 0
- 2
- 72
질문&답변
Hue구성오류 질문입니다.
안녕하세요! 김원집님!음...보여주신 내용으론 원인 파악이 좀 어려워 보이는데요~ ^^;아직 해결되지 않았다면,우선 휴를 삭제하고,HDFS,YARN, 하이브등 의존성 패키지 정상여부 확인하고,다시 휴를 설치해봐 주세용!참고로 휴는 다른 솔루션들과에 의존성이 커서 관련 패키지의 정상 여부를 절 체크해 보셔야 합니다.-빅디 드림
- 0
- 2
- 50
질문&답변
버쥬얼박스
안녕하세요! 노지훈님!네~ 다른 버젼도 괜찮습니다.파일럿 프로젝트 끝까지 화이팅 입니디.^^*-빅디 드림
- 0
- 2
- 35
질문&답변
psycopg2==2.6.2. 에러
안녕하세요! 송민호님! ^^혹시 현재 파이썬 버젼이 어떻게 되는지 확인 가능할까요?!$ python --version -빅디 드림
- 0
- 2
- 102




