55,000원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
sbin/start-dfs.sh Permission denied 에러
작업 중 /usr/lib/hadoop/logs 경로를 건든 적이 없는데..ssh를 이해 하지 못하는 상황에서 문제가 생긴 걸까요..? ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys export PDSH_RCMD_TYPE=ssh ssh user@localhost user@localhost: Permission denied (publickey). sbin/start-dfs.shStarting namenodes on [localhost]localhost: WARNING: /usr/lib/hadoop/logs does not exist. Creating.localhost: mkdir: cannot create directory ‘/usr/lib/hadoop/logs’: Permission deniedlocalhost: ERROR: Unable to create /usr/lib/hadoop/logs. Aborting.Starting datanodeslocalhost: WARNING: /usr/lib/hadoop/logs does not exist. Creating.localhost: mkdir: cannot create directory ‘/usr/lib/hadoop/logs’: Permission deniedlocalhost: ERROR: Unable to create /usr/lib/hadoop/logs. Aborting.Starting secondary namenodes [tghong-cluster-public-temp-m]tghong-cluster-public-temp-m: WARNING: /usr/lib/hadoop/logs does not exist. Creating.tghong-cluster-public-temp-m: mkdir: cannot create directory ‘/usr/lib/hadoop/logs’: Permission deniedtghong-cluster-public-temp-m: ERROR: Unable to create /usr/lib/hadoop/logs. Aborting.
- 해결됨빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
Hadop 3.2.1 버전 지원을 안하는거 같습니다
3.3.6 버전으로 진행 하여도 상관 없나요?혹시.. 리뉴얼.. 계획이 있으신가요..터미널 창이 너무 바닥 까지 있어서 초록생 진행 바와 터미널 창이랑 계속 겹쳐서 보기가 힘듭니다..ㅠ
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
확장팩 필수 유무
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 버추얼머신 깔 때 확장팩 필수인가요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
jdk 설치 유무 문의
인터넷 보면서 자바 환경 변수 설정을 해보았는데 혹시 제대로 된 것이 맞을까요..? ㅠㅠ자바 환경 변수 부터 쉽지 않네요 -- 자바 설치sudo apt-get install openjdk-8-jdk -- 자바 버전 확인 tghong@redhat7-1:~$ java -version openjdk version "1.8.0_382"-- 설치 경로 확인? tghong@redhat7-1:~$ readlink -f $(which java) /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java sudo vi /etc/profileexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile -- 확인 tghong@redhat7-1:~$ echo $JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64tghong@redhat7-1:~$ echo $PATH | grep java/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/lib/jvm/java-8-openjdk-amd64/bin
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
apt-get install openjdk-8-jdk 설치 문의
안녕하세요 강사님! 먼저 인프런에서 하둡을 공부 할 수 있도록 강의 내주셔서 너무 감사합니다! jar 파일 압축이 풀리지 않아 방법을 찾던 중 sudo apt-get install openjdk-8-jdk* 으로 설치가 잘 되었습니다혹시 이 방법으로 해도 문제가 없을까요..? 자바를 해본 적이 없는 상황에서 자바 설치 방법이? 강의와 다른데 그 이후 환경 변수 셋팅 구축 방법 및 하둡 설치는 달라지는 것이 없나요? 클라우드 환경이라 터미널에서 wget 으로 다운 받았는데 gzip 파일이 아니라는 에러가 나오는 이유가 무엇일까요.. 혹시.. wget 으로 다운 받을 수 있는 자바 1.8버전을 영상 아래 코멘트 한줄만 남겨 주실 수 있으신가요..ㅠ
- 해결됨빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
강의 내용 블로그 작성 관련 문의
안녕하세요 빌리님, 최근 강의 수강을 시작한 수강생입니다.다름이 아니라, 블로그에 강의 내용을 정리하며 내용을 리마인드 하고 싶은데요,강의 내용에 들어가 있는 슬라이드를 일부 사용하여 게시글을 작성해도 될 지 문의 드리고 싶습니다.출처는 당연히 기재할 예정입니다!혹시 원치 않으신다면 비공개글로 작성하도록 하겠습니다.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
하둡 명령어 실행시 오류 문의
~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable이 에러로 문의드렸습니다. 네 가지 설정파일 캡처 첨부해 재문의드립니다.참고로 저는 계정명을 hadoop으로 설정하여 neuavenue를 hadoop으로 바꿔서 입력하였습니다.제발 답변 부탁드려요.. 같은 부분에서 막혀 지우고 재설치만 세번째입니다 ㅠㅠ
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
하둡 명령어 실행시 오류
~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable fs 명령어를 실행하면 native-hadoop library를 load할 수 없다는 경고가 뜨면서 명령이 실행되지 않습니다. 하둡 설치 및 설정 과정은 제공해주신 문서 두세번씩 훑으면서 제대로 설정했는데, 어떻게 해야 고칠 수 있을까요 ㅠㅠ? 혹시 우분투를 22.04.3 LTS로 설치하였는데 버전이 달라서 생기는 문제인가요..?참고로 하둡 설치할 때 강의에 나온 링크는 존재하지 않는다고 나와서 $wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz여기서 설치하였습니다. 자바는 동일한 버전인 8u271을 설치하였는데, 강의와 다르게 Linux ARM 64 Compressed Archive로 설치했어요.
- 해결됨빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
노트북 램이 8GB 인데 괜찮나요?
서버를 계속 켜두고 싶어서 사용하지 않는 노트북에 2gb ubuntu desktop을 설치했는데, 강의를 진행하는데 문제 없을까요? 해당 노트북은 다른 용도로는 전혀 사용하지 않고, 강의내용은 다른 pc에서 Xshell과 크롬 데스크톱 화면 공유를 활용하면서 실행하려고 해요.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
Virtual Box 문제가 발생합니다.
순차적으로 Virtual Box를 설치하여 진행 중입니다.Virtual Box Version과 Ubuntu Version도 동일한 것을 선택하여 진행함에도 불구하고 부팅 후 설치과정에서 계속해서 깨지네요.. 10번 넘게 ISO파일 다시 다운받고 진행해도 동일합니다. 이부분을 어떻게 해결할수가 없어, Virtual Box가 아닌 EC2에서 진행해도 뒤 내용 따라가는데 문제가 없는지 궁금합니다.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
start-dfs.sh가 작동하지 않습니다.
강의에 있는 모든 스크립트를 오타없이 작성하였고 namenode format까지 정상적으로 끝냈는데 그 다음 순서인 start-dfs.sh가 동작하지 않습니다. 해당 명령어를 치고난 후 아무일도 발생하지 않고, jps로 봐도 동작하지 않습니다. 해당 쉘 스크립트 파일을 열어보니 비어있습니다. 뿐만아니라 sbin디렉토리에 있는 모든 쉘 파일들이 아무것도 입력되어있지 않은 빈파일들인데 이게 맞나요?
- 해결됨빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
우분투 버전 문의
안녕하세요, 선생님!선생님 강의를 듣고 있는 학생입니다.우분투 버전 관련하여 질문 드리고 싶습니다!제가 지금 섹션 6. 하둡 제너럴[2] : 하둡 설치[2] - Hadoop 3.2.1 설치하기 (버추얼박스 위에 Ubuntu 20.04 LTS 연결하여 설치해보자!!)를 듣고 있는데, 혹시 우분투 20.04가 아닌 18.04나 22.04를 설치하면 문제가 생기는지 궁금합니다. 감사합니다:)
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
Namenode 폴더 format 도중 발생한 오류입니다.
안녕하세요.하기 명령어 실행 도중 오류가 발생하여 문의드립니다.발생한 오류는 다음과 같습니다.강의 따라오면서 놓친 부분이 있는 지 확인하였으나 문제점을 찾지 못하여.. 염치불고하고 문의드립니다.감사합니다.
- 해결됨빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
우분투 설치 도중 오류 문의드립니다.
버추얼 머신을 통하여 우분투 설치 진행 시 해당 오류가 떠서 해결 방법에 대해 문의드립니다.상기 환경에서 시작 버튼을 누르면 하기와 같은 창이 뜹니다.위 창에서 첫번째 메뉴를 선택하면 하기와 같이 end kernel panic 창이 뜨고는 이후 진행이 되지 않습니다.상기 문제에 대하여 혹시 해결책을 알고계신다면 답신 부탁드립니다.좋은 강의 해주셔서 감사합니다.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
put, copyFromLocal과 get, copyToLocal
안녕하세요 강사님 강의 정말 잘 듣고 있습니다. 다름이 아니라 put, copyFromLocal과 get, copyToLocal는 서로 같은 명령어인데 저렇게 같은 명령어를 두개나 만든 이유가 있을까요? 혹시 성능이나 기타 다른 점에서 차이가 있는 것인지 궁금합니다.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
특정 부분에서의 미동작
안녕하십니까 ㅎㅎㅎ이 고개만 넘기면 하둡을 본격적으로 학습할 수 있을 것 같아서 기대하며 질문 남깁니다!참고로, 하둡 버전의 경우 말씀 주신 사이트에 가서 확인해보니 3.2.1 버전이 현재 없어서, 기존 질문 글 참고해 3.2.3 버전으로 다운 받고 실행했습니다...!현재 제 상황을 화면으로 보여드리면 다음과 같습니다.sbin/start-dfs.sh를 실행하고, start-yarn.sh를 각각 실행하고 jps로 현재 진행 상황을 확인해보니, start-yarn을 통해 NodeManager와 ResourceManager는 실행이 되는데, namenodes, datanodes 그리고 secondary namenodes가 실행이 되지 않습니다..ㅎㅎㅎ혹시 sbin/start-dfs.sh를 통해 namenodes, datanodes, secondary namenodes들이 실행되지 않는다면 어떤 스크립트를 중점적으로 다시 확인해봐야하는지 알 수 있을까요? (전체적으로 다시 다 리뷰하긴 했지만..)추가적으로, 저는 강의에서 나오는 파일 경로상의 neuavenue를 전부 joshuaj로 수정해놓은 상태인데 마지막에 start-dfs에서 terminal에서 나오는 건 [joshuaj-VirtualBox]라.. 혹시 파일 경로상의 joshuaj를 joshuaj-VirtualBox로 바꿔야하나요...?또한 오류 발생 원인으로 의심되는 부분이 또 있는데, 강의 상에서는 들여쓰기가 이렇게 되어있는데 저는 어떻게 하는지 몰라서Tab키를 활용해이렇게 스크립트를 적었는데 이것이 문제의 원인일 수도 있을까요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
Ubuntu 환경에서 jdk 압축 해제시 오류 발생 관련하여 질문드립니다!
강의 감사합니다 항상 재미있게 듣고 있습니다! 강의를 들으며 실습해보던 중 오류가 발생해서 질문 남깁니다..! 현재 jdk-8u271-linux-x64.tar.gz는 디폴트 '다운로드' 폴더에 들어가 있는 상황입니다. 스크립트를 확인해보면 sudo mkdir을 통해 /usr/lib/jvm 디렉토리는 성공적으로 만들어진 것 같은데 ~/Downloads에서 ls를 해보면 선생님처럼 붉은 글씨로 jdk-8u271-linux-x64.tar.gz가 안나옵니다. 그래서 다운로드 파일에 들어있는 jdk 리눅스 파일이 탐색이 안되는 것 같은데 이유를 알 수가 없네요...ㅠㅠ 제가 윈도우용으로 이전에 설치해놓은 jdk 때문인지... 윈도우 디폴트 '다운로드'에 들어있는 jdk 리눅스용 파일을 확인하지 못하는 건지... 아! 윈도우는 64bit로 맞는 파일을 받긴 한것 같습니다! 감사합니다!
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
12강 _- 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mappe..) ==> 4분37초 부분
선생님, 안녕하세요~ 좋은 강의해 주셔서 감사합니다. 열심히 잘 따라 하다 아래 부분에서 오류가 납니다. 12강 _- 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mappe..) ==> 4분37초 부분 참고로 저는 하둡 홈 디렉터리는 $HADOOP_HOME ==> /usr/local/hadoop$ 입니다. 혹시 질문을 보시면 조언 부탁드립니다. 항상 건강하시기를 바랍니다. 감사합니다.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
하둡 설치 및 셋팅 중 에러.....
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요. 해당 수업 수강자입니다. 하둡설치 중에 있습니다. 먼저 특이사항으로 저는 가상화가 아닌 실서버에서 하고 있고 DeskTop버전이 아닌 Server 20.04.1 LTS입니다. 자바 설정 해서 자바버전 이상 없이 나왔구요. java version "1.8.0_271" Java(TM) SE Runtime Environment (build 1.8.0_271-b09) Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode) 하둡설정에 있어서 에러가 나고 있습니다. #~/hadoop$ bin/hdfs namenode -format => 해당 명령어를 치게되면 아래와 같이 Shutdown이 된것 처럼 보입니다. 제가 무엇을 놓친건지 알수 있을까요?? 아니면 이상없이 다음 스탭을 진행해도 될까요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
질문이 있습니다!!
하둡 서버를 실행시키면 secondary namenodes가 계속 켜지지를 않습니다... 어떻게 해야할까요?? 웹 사이트는 :9870, 8042 포트는 잘 들어가지는데 9864 포트는 접속이 안됩니다 ㅠㅠ