금융과 통신 등 다양한 분야에서 빅데이터와 AI 관련 전문가로 활동하고 있으며, 기술&경험의 채우기와 비우기를 반복하며 소소한 행복을 찾는 Big.D(빅디) 입니다.
강의
수강평
- 15일간의 빅데이터 파일럿 프로젝트
- 15일간의 빅데이터 파일럿 프로젝트
- 15일간의 빅데이터 파일럿 프로젝트
게시글
질문&답변
가상환경 내보내기
네~ 김유경님!다른 PC에서 파일럿 실습을 진행 하실땐 ISO 파일로 다시 만들 필요는 없습니다.처음 작업을 시작할때 다운로드 받은 VM이미지가 저장 되어 있는 폴더를 USB에 통채로 복사해서,새로운 PC에 복사만 해놓고...가상서버 Server01, Server02만 순서대로 실행시키면 됩니다.물론 VirtualBox는 그전에 설치 되어 있어야 하고요~ 두번째 질문중 "원천으로 사용하는 5개 테이블"이 어떤 테이블인지 좀더 설명좀 부탁드립니다. ^^;;-빅디 드림
- 0
- 1
- 17
질문&답변
SpoolDIR 폴더로 옮기
안녕하세요! 빅디입니다.혹시 플럼이 실행중인 상태 아니었는지요?!파일럿 프로젝트의 플럼 설정은 수집 해야 할 파일 처리가 다 끝나면,해당 파일을 삭제 하게 되어 있습니다. ^^확인 부탁드립니다. -빅디 드림
- 0
- 2
- 18
질문&답변
cpu usage 에러
안녕하세요! 김유경님!해당 에러는 경고성 메세지로 Java의 가비지컬랙션이 CPU 리소스 부족으로 오래 걸리고 있어 클라우드 매니져먼트 서버가 불안정 하다는 얘기입니다.2가지 의견을 드리는데요..Cloudera Management는 실시간 모니터링을 하지 못합니다. 그래서 활성화 후에도 1~2분정도 기달려야 정상적인 모니터링 값이 표기 됩니다.두번째 김유경님의 파일럿 실습 환경의 물리적인 CPU or Memory 자원 부족 문제인데요..요건 현재 파일럿 단계에서만 사용할 서버 또는 서비스만 실행하고 그외에는 비활성화 하는 방법으로 리소스를 최대한 확보하는 방법입니다.우선 위 2가지 사항 체크해 보시고, 문제 지속시 글남겨 주세요~ ^^-빅디 드림
- 0
- 2
- 22
질문&답변
탐색 과정 중 주제2 진행중 발생 에러
안녕하세요! 빅디 입니다.관련 워크플로우 실패는 아스키코드 인코딩 문제 보다는...다른 원인으로 해당 주제영역의 워크플로우가 실패했고, 아스키 인코딩 오류는 실패로 인해 전이된 에러 일 수 있습니다. 해당 워크플로우 실패시 상단의 log 탭의 에러내용을 확인해 볼 수 있을까요?-빅디 드림
- 0
- 2
- 19
질문&답변
쿼리 실행시 10000 에러
안녕하세요! 빅디 입니다.관련 에러는 HBase에 내장된 Thrift 통신이 끊겼을 발생하는 에러 입니다.대부분 리소스 부족으로 HBase서버가 일시적 비정상 작동 또는 셧다운 현상시 나타나는 오류입니다.불필요한 서비스를 비활성 후, HBase를 재시작 하면 관련 오류는 발생하지 않습니다~-빅디 드림
- 0
- 2
- 21
질문&답변
Oozie설치시 ShareLib업로드 에러
아~ 해결 되셨군요!!제가 한발 늦었습니다. ^^;;;;파일럿 프로젝트를 진행하며 이런 트러블슈팅 능력을 키우는 경험을 쌓는게 아~주 중요합니다.실제 프로젝트 현장에서도 이런 해결 능력을 높이 평가하고요...전문가로 성장하는 과정중 하나 입니다.끝까지 화이팅 입니다. -빅디 드림
- 0
- 2
- 20
질문&답변
kernel:BUG 에러 관련 문의
안녕하세요! LeeDong Won님!먼저 설 복 많이 받으시고요~! ^^*파일럿 프로젝트에서 CPU에 대한 컴퓨팅 파워는 많이 필요하지 않습니다.현재 가상 CPU의 수를 서버당 2개씩만 할당하셔도 충분할 것으로 보입니다.문제의 원인에 대해선 아래 인프런 AI 인턴이 저보다 설명을 잘해 놨네요...^^;;;-빅 드림
- 1
- 2
- 29
질문&답변
카프카 관련 문의
안녕하세요! 빅디 입니다.아래처럼 파티션 넘버 0번을 옵션을 추가해서 실행 해봐 주세요~ -빅디 드림$ kafka-console-consumer --bootstrap-server server02.hadoop.com:9092 --topic SmartCar-Topic --partition 0 --from-beginning
- 0
- 2
- 44
질문&답변
Storm관련 NoClassDefFoundError문의
안녕하세요! LeeDong Won님!실시간 처리 실습은 복잡도가 높은만큼 미세한 환경 차이에도 의존성 문제등으로 트러블슈팅이 많이 발생합니다. TT파일럿 프로젝트의 취지가 스톰의 상세 기능들을 배우는 것 보단..실시간 처리의 파이프라인을 경험해 보는것이 중요한 만큼...우선 1.2.3 버젼으로 재설치해서 진행해 볼 것을 추천 드립니다~-빅디 드림
- 0
- 2
- 40
질문&답변
리듀스가 네트워크를 타고 들어오는 경우
안녕하세요! 빅디 입니다.아래 인프런 AI 인턴이 저보다 설명을 잘하는 것 같네요...^^;;제가 핵심만 다시 쉽게 설명 드리자면 다음과 같습니다. 하둡은 분산파일 시스템이고, 1GB 파일을 하둡에 저장 한다면, 블록 사이즈 단위로 여러 데이터 노드에 분산 저장 된다는 건, 기본적으로 이해 하셨을 거라 생각 되고요~ "그럼 분산 저장된 이 1GB 파일을 분석 하려면 어떻게 해야 할까요?" 보통의 프로그램 이라면, 프로그램이 실행중인 컴퓨터의 위치로 이 1GB파일을 읽어와 메모리에 로드 하게 될 텐데요...이때 로드 하는데 파일이 크면 클 수록 시간이 엄~청 오래 걸리고, 자원 소모도 많이 들 겁니다.1GB면 뭐...해볼만 하겠지만 요즘 수기가~테라 빅파일들이 워낙 많으니깐요.. 그래서 맵리듀스 프로그램은 실행 자체를 데이터가 있는 곳으로 아예 이동해서 실행 합니다. 큰 파일이 이동 할때 발생하는 I/O , N/W 등의 리드 타임 비효율성을 없애 버린 겁니다.맵리듀스 프로그램은 아무리 커바야 1MB도 안될테니깐요... 대신 수많은 블록으로 나누어 저장된 여러 노드의 위치로 맵리듀스 프로그램이 찾아가고, 각각의 결과들을 다시 모으고, 정렬하고, 점검하는 등의 기능들은 개발자들이 고민할 필요없이 맵리듀스 프레임워크에서 알아서 자동으로 해줍니다.각 노드에서는 128MB 블록의 파일만 분석하고, 그 결과만 네트워크로 전송하면 되니깐, 여러 노드가 나눠서 일도 하니깐 효율성도 좋겠죠~ 이런 이유로 "맵리듀스 프로그램이 네트워크를 타고 들어온다?" 라는 설명이 되는 거고요,정확히는 맵리듀스 프로그램에서 맵프로그램이 데이터가 있는 곳으로 네트워크를 타고 이동해 실행되고,리듀스 프로그램은 특정 노드에서 실행 되면서, 맵들의 결과를 받게 됩니다. 파일럿 프로젝트 완수까지 화이팅! 입니다 . -빅디 드림
- 0
- 3
- 33