월 26,400원
5개월 할부 시다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니저 접근 후 다음으로 넘어가지 않습니다.
클러스터 로그인 후 Welcome 페이지 -> select edition 이후계속 버튼을 눌러도 다음으로 진행이 되지 않습니다. 빈페이지로만 나옵니다. 실습 진행이 되지 않는데 해결할 수 있는 방법이 없을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
서비스를 내렸다 올릴때 Storm 재가동 여부문의
안녕하세요? 선생님의 상세한 설치설명에 힘입어 Storm 설치까지 무사히 마쳤습니다. 그런데 혹시 강의를 다음날 들으려고 Virtual Box 의 서버들을 내린 후에 다시 올릴 때는 cd /etc/rc.d/init.d/ service storm-nimbus start service storm-supervisor start service storm-ui start 이렇게 명령을 내려서 손으로 직접 서비스를 하나하나 기동시켜야 하나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
하둡 파일 시스템 상태 검사 (hdfs fsck)
하둡 파일 시스템 검사 명령어를 사용해보는 도중에 강사님과 같은 결과가 아닌 이러한결과가 나오는데요 이유가 있을까요? ;ㅁ;
- 미해결15일간의 빅데이터 파일럿 프로젝트
hive managed table 관련문의
안녕하세요 extenstion table은 hive가 hdfs의 파일구조를 읽기위한 하나의 통로같은 느낌을 받았습니다. 이는 현재 클라우드에 여러 dw 서비스가 data lake의 비정형파일을 참조쿼리할때랑 유사한 방식이더군요. 다만 궁금한 것은 managed table은 아마 참조방식이 아니라 집계 적재되는 느낌인데 이 테이블은 hdfs에 적재되는 것인지 아니면 hive 서버 내부에 별도 저장되는 것인지 문의드립니다. 그렇게 되면 hive를 통한 dw를 구축하는 아키덱쳐에도 상당한 양의 공간이 필요하다고 여겨지는데 mamaged table이 분산으로 저장이 되지 않는다면... 과연 비용상으로나 성능상으로나 구축 의미가 있는지 싶어서 문의드립니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
ALTER TABLE ADD PARTITION 관련해서 질문 있습니다
안녕하세요 : ) 먼저 좋은 강의 감사합니다 . 강의 중에ALTER TABLE SmartCar_Status_Info ADD PARTITION(wrk_date='20201003') 파티션 나눠 주는 부분이 있는데, 파일럿 프로젝트의 경우에는 특정 날짜 데이터만 저장되었고, 빠르게 사용하기 위해서 파티션을 나눠주는 것으로 이해했습니다. 혹시 차량 정보 data를 wrk_date 기준, 여러 날짜를 사용해야 하는 경우에는 어떻게 파티션을 나눠서 사용해야 하는지 궁금합니다.
- 미해결15일간의 빅데이터 파일럿 프로젝트
8088 접속 안될때
안녕하세요 수업 잘 듣고 있습니다! 수업내용 대로 진행중 server02.hadoop.com:8088로 들어가지지 않아서 문의를 드립니다! storm-nimubs storm-supervisor storm-ui 전부 start 하고 status도 running을 확인하였습니다. 하지만 위 페이지로 접속이 되지 않고, 조금만 지나면 status 확인시 전부NOT running으로 바뀝니다. 어느 부분에서 문제가 되었을까요? (storm 강의 처음부터 다시 따라해야할지 문의드립니다.) storm
- 미해결15일간의 빅데이터 파일럿 프로젝트
Hue 쿼리 실행 오류
Hue에서 아래 에러가 발생하면서, 테이블 생성 쿼리를 진행 할 수 없습니다. 에러 메세지> QueryError: Could not connect to server02.hadoop.com:10000 (code THRIFTTRANSPORT): TTransportException('Could not connect to server02.hadoop.com:10000',) 진행 강의 > "06-05. 탐색 파일럿 실행 3단계 - 데이터 탐색&처리1" 상황 설명 > 어제 Hue 설치까지 별다른 오류없이 진행을 했고, 모든 서비스를 종료를 했습니다. 오늘 다시 강의를 이어서 보려고, 클라우데라에서 모든 서비스를 시작했습니다. Hue 계정을 생성하고 접속하면, 아래와 같은 오류 메세지를 출력하고 있습니다. 쿼리를 실행해도 동일합니다. 클라우 데라에서 ThriftServer 포트는 9090인것 같은데, 왜 10000으로 접속하려는 걸까요? 클라우데라에서 ThriftServer 실행 상태도 양호인 것을 확인 했습니다. 다만 HBase의 connection health 상태가 concerning으로 표시되는데 연관이 있을까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
vm5.0버전 실행 오류가 나오는데요
다른 버전으로 해도 될까요?? 참고로 mac12.1 , window10에서 모두 오류가 나오네요
- 해결됨15일간의 빅데이터 파일럿 프로젝트
hue에서 파일 업로드가 정상적으로 되지 않습니다.
좋은 강의 만들어주셔서 감사합니다. 자세한 설명 덕분에 순조롭게 잘 따라가고 있습니다. 현재 hue에서 파일 업로드를 진행하고 있는데요, CarMaster는 정상적으로 올라가지만 buy list는 업로드가 되지 않습니다. . 첫번째 상태로 유지되다가" undefined 성공적으로 업로드 되었다"라고 뜨고 실제로는 아무런 변화도 일어나지 않습니다. 에러 로그를 어디서 확인할 수 있는지 궁금합니다. 감사합니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
mac으로 진행해도 큰 문제 없을까요?
Mac으로 환경 구성 하려고 하는데 앞으로 수업 내용들이 전부 Window 기준으로 되어있다고 하셔서, mac 사용시 혹시 크게 불편한 부분이 있나요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
gcc 설치에러
gcc 설치시 아래와 같은 문제가 발생합니다.어떻게 해야할까요? yum install -y gcc* Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Determining fastest mirrors YumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. Invalid release/repo/arch combination/ removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorli st.txt Error: Cannot find a valid baseurl for repo: base
- 미해결15일간의 빅데이터 파일럿 프로젝트
가상머신 로그인문제
제가 이제 막 환경구축을 시작했습니다. 일단 참고영상은 보지않고 vm통합 환경 구성 강의를 참고해서 구축을 시행하고 있습니다. 제 환경은 window가 아닌 mac 환경입니다 server 01, 02를 다운받고 vm에 옮겨서 실행시키면 두가지 문제가 발생합니다. #1 01은 잘 실행이 되지만 -> 로그인하라는 창이 뜹니다. #2 02는 실행시키면 -> kernel panic -> not syncing : attempted to kill inif 이렇게 창이 뜨며 실행되지 않습니다. 긴 질문 답변 기다리겠습니다. 감사합니다
- 미해결15일간의 빅데이터 파일럿 프로젝트
클라우데라 매니져 접속 URL 오류
안녕하세요. hosts 파일을 관리자로 메모장 열어 수정하였습니다. 그 이후 URL을 접속하면 오류가 발생합니다.
- 해결됨15일간의 빅데이터 파일럿 프로젝트
카프카 아키텍처 (3/3) 질문
멀티 브로커(Broker1, Broker2)와 Multi Node를 가지는 아키텍처에 대해서 설명해주셨는데요. 중간에 각 Broker에 있는 Topic들을 하나도 묶을 수 있다는 내용이 있는데 정확히 어떤 의미인가요? Broker들끼리 서로 데이터를 공유한다는 말인가요? Consumer 1과 Consumer2가 같은 저장소를 바라본다는 말씀이 Node 1에 접근하더라도 Node 2에 있는 데이터에 접근 할 수 있다는 의미인가요?
- 해결됨15일간의 빅데이터 파일럿 프로젝트
virtualbox error
vitualbox 최신 버전으로 설치하고 강의에 나와있는 부분을 따라서 실행하다가 클러스터 설치 중 다음과 같은 에러가 발생합니다. vitualbox 다른 버전으로 설치하면 아예 실행도 안됩니다. (강의자료 19페이지 수행 중 에러 발생)
- 해결됨15일간의 빅데이터 파일럿 프로젝트
java 버전 선택 관련 질문
1. java 버전으로 1.8을 설치한다고 하셨는데 1.8로 설치하는 이유를 알고 싶습니다. 2. 환경 변수에 이미 JAVA_HOME이 있으면 어떻게 해야하나요? 3. 이클립스 installer를 다운받고 실행했더니 다음과 같이 뜨는데 어떤 것을 설치해야하나요 4. vitualbox download 하는 부분에서 no longer supported라고 명시되어있음에도 다운받아서 사용하는 이유를 알고 싶습니다. 5. 파일질라를 사용하는 대신에 scp 나 rsync 명령어를 사용하여 진행할 수 있을까요
- 해결됨15일간의 빅데이터 파일럿 프로젝트
접근제어 보안 구조관련 질문
아파치센트리의 경우 중앙에 서버를 두고 주변 노드들에게 접근 권한을 주는 것으로 이해를 했는데 커베로스는 클라이언트마다 서버를 따로따로 두는 것인가요? 커베로스도 KDC를 하나 두고 각 클라이언트들이 인증을 요청해서 티켓을 받는 방식인가요? 아, 아파치 센트리에서는 노드들에게 센트리 에이전트를 설치하는 대신 커베로스에서는 인증 요청하는 방식으로 진행되는 것인가요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
안녕하세요
제플린 설치 강의를 듣고 따라하던 도중 오류가 발생했습니다. zeppeling-daemon.sh start를 치니 저렇게 찾을 수 없는 명령이라고 나오는데 혹시 문제가 뭐인지 알 수 있을까요...
- 미해결15일간의 빅데이터 파일럿 프로젝트
tail -f flume~ 오류
[root@server02 flume-ng]# tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log value.serializer = class org.apache.kafka.common.serialization.ByteArray Serializer INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v2018 0904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c86 2b122d2b06c12a625732 INFO org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@470d2611{HTTP/1.1,[http/1.1]}{0.0.0.0:41414} INFO org.eclipse.jetty.server.Server: Started @5342ms INFO org.apache.kafka.common.utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2 INFO org.apache.kafka.common.utils.AppInfoParser: Kafka commitId: null INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Succ essfully registered new MBean. INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Component type: SINK, name: DriverCarInfo_KafkaSink started INFO org.apache.kafka.clients.Metadata: Cluster ID: lhtw uwZxS2CI85Bn_v6BuQ 재시작 했는데도 안되네요 ㅠㅠ 문제점이 무엇일까요?
- 미해결15일간의 빅데이터 파일럿 프로젝트
java코드를 만들고 패키징을 하면...
com.wikibook.bigdata.smartcar.storm 밑의 파일의 DriverCarInfoBean.class EsperBolt.class .... TupleTableConfig.class 를 제외한 나머지 파일은 왜 있나요?? 예를들어 antlr, edu.umd.cs.findbugs.annotations, io.netty, javax, jline 등등 여러폴더들이 있더라구요.. 이게 자동으로 생긴 것 인지, 아니면 강사님이 직접 코딩을 하신 것 인지 궁금합니다. jar 파일 내부가 궁금하여 뜯어봤는데, 아직 모르는게 많습니다. ㅜㅜ 또한 java의 jar파일을 제외한 다른 파일로도 storm 토폴로지를 배포할 수 있나요?