금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다.
Courses
Reviews
- 15-day big data pilot project
- 15-day big data pilot project
- 15-day big data pilot project
- 15-day big data pilot project
Posts
Q&A
psycopg2==2.6.2. 에러
안녕하세요! 송민호님! ^^혹시 현재 파이썬 버젼이 어떻게 되는지 확인 가능할까요?!$ python --version -빅디 드림
- 0
- 2
- 52
Q&A
호스트 불량 문제에 관하여
안녕하세요! 장민영님!스크린샷으로 올려주신 클러스터의 리소스 사용량은 정상입니다. ^^클라우데라의 패키지 파일인 parcel의 경우, 최초 구성된 VM이미지에 포함된 상태로 변경은 없고요~대신 파일럿 프로젝트 단계별 새로운 구성을 할때마다, 해당 parcel을 이용해 실제 사용할 SW가parcel을 이용해 설치 되면서 디스크 사용량이 늘어나게 됩니다. 즉 parcel 파일은 설치 파일이라고 생각 하시면 됩니다.실제 프로젝트에서도 이렇게 리소스의 상태를 체크해 보며 모니터링 하는건 매우 중요한 합니다.특히 개인PC의 파일럿 환경은 자원의 한계로 여러 문제가 자주 발생 할 수 있으니 지금처럼 꼼꼼히 체크해봐 주세요!! 특히 메모리 사용량이 많이 부족하게 될겁니다.그때는 실습에 사용되지 않는 Cloudera 서비스는 꼭 종료해 주세요~-빅디 드림
- 0
- 2
- 40
Q&A
하이브쿼리에서 에러가 나요...
안녕하세요! 지욱님!해당 에러는 하이브의 파티션 정보가 없어서 발생한 것으로 보이는데요..."Hue > 파일 브라우저"로 이동해서 아래 경로에 wrk_date의 날짜별 파티션이 잘 생성 되었는지 확인 부탁드립니다./pilot-pjt/collect/car-batch-log/wrk_date=xxxxxxxxx-빅드 드림
- 0
- 3
- 58
Q&A
redis-cli 데이터 적재 확인
안녕하세요! 빅디 입니다.위 테스트의 경우 시간이 좀 걸리기 때문에, smembers 명령을 주기적으로 실행해 보여야 합니다.실시간 데이터 상황에 따라 차량별로 속도의 평균을 계산후 80Km 이상인 차량이 있는경우만Redis로 전송하기 때문입니다.redis-cli에서 smembers 20160103 명령으로 과속차량이 식별될때까지 주기적으로 실행봐 주세요~-빅디 드림
- 0
- 2
- 50
Q&A
파이썬 설치 시 에러
아~ 넵! 해결 하셨네요!!! ^^ -빅디 드림
- 0
- 2
- 53
Q&A
Hbase에 적재된 데이터 확인시 에러
안녕하세요! 지욱님!Hue HBase 연동시, HBase에서 제공하는 Thrift 서버가 불안정해서 그렀습니다.밑에 AI인터의 얘기처럼 HBase의 자원부족 문제일 확률이 높습니다.사용하지 않는 서비스들은 종료해 주시고요, HBase를 리스타트 하면 잘 작동할 겁니다. ^^*-빅디 드림
- 0
- 2
- 44
Q&A
카프카 토픽 생성에서 에러
안녕하세요! 지욱님!답변이 좀 늦었습니다. ^^;;;카프카 토픽 생성시 기본정보를 Zookeeper에 생성하게 되어 있습니다.CM > Home > Zookeeper의 상태를 확인해봐 주시고요..우선 Zookeeper를 리스타트도 한번 부탁 드립니다.편안한 주말 보내세요~ -빅디 드림
- 0
- 2
- 48
Q&A
HDFS 명령어를 치는데 오류가 납니다
안녕하세요! 지욱님!현재 하둡의 HDFS가 비정상으로 보이는데요~우선 ClouderaManager > Home > hdfs 의 상태가 정상인지 확인 가능할까요?빨간생 느낌표 아이콘이 있다면 해당 아이콘을 눌러서 확인 부탁드립니다~ -빅디 드림
- 0
- 2
- 62
Q&A
가상환경 내보내기
네~ 김유경님!다른 PC에서 파일럿 실습을 진행 하실땐 ISO 파일로 다시 만들 필요는 없습니다.처음 작업을 시작할때 다운로드 받은 VM이미지가 저장 되어 있는 폴더를 USB에 통채로 복사해서,새로운 PC에 복사만 해놓고...가상서버 Server01, Server02만 순서대로 실행시키면 됩니다.물론 VirtualBox는 그전에 설치 되어 있어야 하고요~ 두번째 질문중 "원천으로 사용하는 5개 테이블"이 어떤 테이블인지 좀더 설명좀 부탁드립니다. ^^;;-빅디 드림
- 0
- 1
- 45
Q&A
SpoolDIR 폴더로 옮기
안녕하세요! 빅디입니다.혹시 플럼이 실행중인 상태 아니었는지요?!파일럿 프로젝트의 플럼 설정은 수집 해야 할 파일 처리가 다 끝나면,해당 파일을 삭제 하게 되어 있습니다. ^^확인 부탁드립니다. -빅디 드림
- 0
- 2
- 41