55,000원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
안 됩니다
강의자료 약 6분 정도에 나오는 sbin/start-dfs.sh 명령어를 입력하면 localhost: rcmd: socket: Permission denied 이런 에러가 뜹니다. 권한이 없나 싶어서 sudo 쓰고 해봤더니 ERROR: Attempting ot operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation 이라는 에러가 뜹니다. 데이타노드와 아래 secondary네임노드도 똑같이 에러 뜨네요. 앞에서 입력하는 4개 xml 편집에서 문제가 있었던 걸까요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
포맷 오류
java 때문에 오류가 나는 거 같습니다. 자바 파일의 경우 따로 올려주신 URL(Download Ubuntu 20.04 LTS and Installation Hadoop 3.x on Ubuntu Standalone Operation(Local mode))의 https://www.oracle.com/ca-en/java/technologies/javase/javase-jdk8-downloads.html는 존재하지 않는 페이지로 나와 jdk1.8.0_311를 설치 했습니다. 소스 파일 들도 잘 있습니다. 어떻게 해결 할 수 있을까요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
월별로 뽑고 싶다면?
월별로 뽑고 싶다면 결과물을 가지고 한번 더 돌리면 되는 것은 이해했는데요. 통상적으로 하둡을 이용할때 목적하는 바를 얻기 위해 결과를 가지고 또 돌리고 하는 행위를 하나요? 아니면 첨부터 월별로 뽑고 싶었다면 한번에도 할 수 있는거죠?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
Rack이 정확히 의미하는 것이 무엇인가요?
실제 IDC센터등에서 얘기하는 물리적인 장비 Rack을 얘기하는 것인가요? 아니면 하둡에서 논리적인 개념으로 Rack이라는 용어를 사용하는 것인가요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
배경음악이 너무 커요
맵리듀스 기본 튜토리얼 (1) - Map/Reduce WordCount Application 부터 보고 있는데요 처음엔 웅장한 배경음악이 나와서 재밌다고 생각했는데 웅장한 배경음악이 강의 내내 나오네요.. 선생님 목소리가 잘 안 들려요 설마 50강 전부 배경음악 깔려있나요?? ;;;;
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
포맷이 안됩니다.
따라 하고 있는데 이 부분에서 막힙니다
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
강의에서 사용하신 하둡 설치 wget 주소에서 404 not found가 떠서
더 이상 지원을 안해주는건가 싶어서 htts://downloads.apache.org/hadoop/common/hadoop-3.3.1/ 에 있는 hadoop-3.3.1-site.tar.gz 로 받아서 설치했는데 괜찮을까요? 명령어는 wget htts://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-site.tar.gz 입니다.
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
선생님 혹시 WSL2로도 학습이 가능할까요?
예전에 잠깐 WSL2를 사용해보았는데 나쁘지 않았던 기억이 있어서 여쭤보고 싶은데요... 컴퓨터 사양이 나쁜건 아닌데 이상하게 오라클 버츄얼박스와 궁합이 안맞는지 자꾸 프로그램이 멈추고 그러더라구요.. 안된다면 포멧 후 다시 설치해보려 합니다. + 근데 현재 자바 홈페이지에 가보니 JAVA 17가 9월 15일자로 나와있는데 이걸 설치해도 되나요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
log4j...에러문제입니다 ! ㅠㅠ
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님! 이러한 에러가 납니다. . . log4j를 잘못설정한것같습니다 log4j 를 잘못설정한 것일까요?? 혹시 몰라서 다른 부분도 첨부해보겠습니다 -Mapper -Reducer -Driver pom.xml Run Configuration
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
기준설정
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님 !! :) ㅇdataa=n ew Text(CovidData[3]) ; 이부분이랑 밑에 Covid Data[8] ; 여기요, 어떤 기준(이유)으로 CovidData[3]. CovidData[8] 을 설정하신 건지 궁금합니다! date변수에 인덱스3부분에 해당하는 날짜를 넣은것인가요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
이클립스 에러
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님!! 이전강의 까지 잘 따라오다가 맵리듀스 중급 튜토리얼(4) - WordCount Application for MapReduce in Java using Eclipse part V - 하둡 맵리듀스 구현을 이클립스 플러그인으로 제작해보기 강의 5분쯤에 에러가 뜨면서 이전까지 해왔던파일들이 선생님처럼 뜨지 않는데 자바16을 설치해서 그런것일까요?? 다시 설치해야할까요?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
자바에서 밑부분이 안나와요!
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요! 선생님 !! 자바에서 밑에 string[] args 이 부분들 설정하는 부분들이 안나옵니다 ...!! 자바16을 설치해서 그런것일까요? 저부분 때문에 그런것인지 이 부분도 나오지 않습니다 ㅜ
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
명령어 질문
안녕하세요 ! 선생님! 주말 잘 보내셨나요?? :) 설치 오류로 많은 질문을 남겼던 학생입니다!! 귀찮으셨을텐데 .ㅠㅠ 죄송합니다. 선생님의 조언 덕분에 하둡 설치에 성공하였고 남은 강의를 열심히 듣는중입니다 조언 너무 감사합니다!! 강의를 듣던중 궁금한 부분들이 있습니다. 1.hadoop fs vs hdfs dfs 에 대해 다른 점이 궁금합니다. 인터넷에 검색해보니 하둡 2버전으로 오면서 hadoop fs 에서 hdfs dfs로 바뀐것이라고 하는 데 맞는 설명인가요? ? 2.xml파일이 문제가 되는 지 알기 위하여 이 명령어를 쓴다고 하셨는데 hadoop fs -lsr output1 그부분이 여기서 어떤 부분인가요?? lsr은 하둡에 올라가 있는 폴더/파일 체계를 모두 출력이라고 알고있습니다. 3.cat 명령어는 파일을 읽어서 보여주는 명령어라고 알고있습니다 현재 xml 화일이 존재한다면 데이터 복제는 성공하였고, 남은 과제는 xml 내부에 있는 컨텐츠가 동일한지 하둡의 fs 쉘 명령어인 cat을 실행시켜 확인하는 일만 남았습니다. :~/hadoop$ hadoop fs -cat /user/etc/xml/distcptest/target/neuavenue.xml 이 부분에서 보면 출력된 부분을 보고 컨텐츠가 동일한지 자신이 판단하는 것이죠 ?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
명령어 질문입니다. hadoop fs -ls vs hadoop fs -ls -R
제목에서와 같이 두 명령어의 차이가 무엇인가요?? 실제로 입력 후 결과 받아보면 차이가 있나? 싶은데요, 정확한 차이와 각각 어떤 상황에서 쓰는지 알고 싶습니다! (좋은 강의 감사합니다 :) )
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
하둡 설치
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님! 선생님께서 자세하게 설명해주시는데도 불구하고 제가 너무 서툴러서 자꾸 jps에서 오류가 납니다 ㅠㅠ 선생님께서 저번 질문글에 조언해주신것 순서대로 실행하였지만 또 jps부분에서 실패하여 다시 설치해보았으나 또 실패하였습니다. 또 실패하면 삭제했다가 다시 설치해보라고 하셔서 삭제 후, 다시 설치하였습니다 ! 설치한 부분을 차례대로 캡쳐해서 올리겠습니다!! ㅠㅠ죄송하지만 한번 더 조언부탁드립니다 ㅠㅠ hdfs-site.xml mapred-site.xml yarn-site.xml home/jm/.bashrc 자바 hadoop-env.sh jps도 실행이 안되고 저는 이부분에 local host뒷부분이 선생님이랑 다릅니다!
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
자바설치
여기까지 했는데요! 파일에 들어가면 이상태입니다.. 이것은 압축이 안풀어진 상태 아닌가요 ?
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
유분트 터미널로 하둡 3.2.1 설치 시작히기[2] - 하둡 설치 및 DFS 데몬 실행
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님!! 저번 하둡설치가 안되어서 질문드렸는데 다행히 선생님께서 주신 링크 참고 하니 잘 설치 되었습니다! (저번에 실패했었어서 이름neuavenue까지 따라했습니다!!..... ) 설치를 계속 진행하다가 이부분이 되지 않아서 질문을 남깁니다. ! 왜 저 부분이 실행되지 않을까요 ?? +추가 jps 이부분이 되지 않습니다 ! ㅜ .bashrc 랑 hadoop-env.sh 는 문제되는것이 없어보입니다 (?) 제가 자바 설치에 문제가 있는것 같습니다 . 자바 설치한 부분을 새 글로 올리겠습니다 한번 확인 부탁드려요!
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
노트북 사양
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요! 빌리님! 강의를 듣던중, 컴퓨터는 사양이 좋은데 노트북 사양이 너무 낮아 바꾸려고 합니다! 그전에 현직 데이터엔지니어이신 빌리님에게 조언을 듣고싶습니다. 현재 맥북프로 (m1)이랑 삼성 갤럭시 북이랑 고민중입니다, 맥북프로m1으로는 가상머신이 아직 지원이 되지 않는다고 하여 사면 맥북인텔로 구매를 할 예정입니다. 1.혹시 개발자로서 맥북이랑 삼성중에 더 추천하는 것이 무엇이신지 궁금합니다 그리고 제가 보고있는 제품은 메모리 16gb에 디스크 512gb입니다. 충분할까요??.,,, 2.데이터엔지니어를 준비하는 학생인데 이보다 더 큰 1tb까지 필요할지 궁금합니다. 3.그리고 현재 하둡이 3.2.1.버전이 없는데, 강의를 보고 따라가려면 하둡 어떤 버전을 설치해야할까요?? ㅜㅜㅜ 세번째실패중입니다. ㅠㅠㅠ
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
블럭이 데이타노드를 가지고있다는게 무슨뜻일까요?
write Architecture 그림에서 Block #1 , #2 ... 각각 블럭마다 데이타노드 3개를 가지고 ip를 세개를 가지고 있다는게 이상합니다. 그림에서 Block #1~6까지 6개 블록은 데이타블록 즉, 128M 기본 용량의 데이타블록을 얘기하시는거 아닌가요? 그건 데이터를 저장하는 가장 작은 데이타 블록 단위인데...즉, 노드안에 블록들이 존재한다고 생각하는데 오히려 반대로 그림에서 각각의 블록이 어떻게 데이터 노드를 3개를 가지고 ip를 가지는건지... 그리고 ip는 데이타 노드 즉, 서버 마다 ip를 갖는거 아닌가요? 그럼 rack은 또 ip를 어떻게 갖나요? 사이즈로 치면 블럭 < 데이타 노드 < rack 형태로 커지는거 아닌가요? 여기에서 ip를 할당받을수있는게 rack인지, 데이타노드인지.. 물리적 서버(인스턴스)는 데이타노드, rack중 어느것에 해당되나요? 그리고 write pipeline에서 보이는 그림과 처음그림과 차이는 뭔가요? 도무지 연결고리가 맺어지질 않네요.. 첫그림은 랙도 안보이더니..두번째 그림에서는 랙을 추가하고 첫 그림은 block만 보이고 데이타노드는 안보이고 그러니. 도무지 어떤 연관이 있는지.. 그리고 동일한 랙안에 싱글블럭 2개이상의 replica를 갖을수없다.라고 rack awareness설명때 얘기하셨는데 두번째 그림에서는 동일한 랙에 4,번 6번이 같이 들어가 있네요...
- 미해결빅데이터 하둡 (Hadoop 3.2.1) 직접 설치하기
랙의 개념(?)여전히
그림에서 네임노드는 기존에 acive, standby 이렇게 두개있는것 봤지만 랙마다 네임노드가 있는것도 이해가 안되고... 랙을 하나의 물리적 서버로 봐야하는것인지, 네임노드를 물리적 서버로 봐야 하는것인지.. 헷갈리네요.우리가 가상서버로 네임노드및 데이타 노드를 만들때 4개의 서버를 만들고 하나는 네임서버 , 또 나머지 3개는 데이터노드서버로 이용하게 되는데 즉 서버마다 네임노드, 데이터 노드가 존재하는데 그림에서 설명하는 rack은 질문을 드리고 답변을 봤어도 이해가 안가네요 ㅠ 그리고 전반적인 것인데 영상에서 솔직히 발음이 듣기가 간혹 어렵고 조사나 접속사가 영상에서 끊기고 적게 들리면서 특히 이해를 더욱 어렵게 만드는 요소같습니다. 가령 1:22~35사이 전후로 말이 끊깁니다. 아래는 강의말씀입니다. " 랙들은 하나이상의 데이타 노드들 곧 적어도 3개의(!! 여기는 접속사없는건지...) 랙들은 가지고 있는 내부정보 지를(??무슨말인지 들리지 않구요) 통해서 네임노드는 네트워크 트래픽을 제거할수있는 읽기쓰기를 지원하는동안 최고의 성능을 발휘하는동안 가까운 데이타 노드를 선택합니다. "