하둡 설치

Question

- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 선생님! 선생님께서 자세하게 설명해주시는데도 불구하고 제가 너무 서툴러서 자꾸 jps에서 오류가 납니다 ㅠㅠ 선생님께서 저번 질문글에 조언해주신것 순서대로 실행하였지만 또 jps부분에서 실패하여 다시 설치해보았으나 또 실패하였습니다. 또 실패하면 삭제했다가 다시 설치해보라고 하셔서 삭제 후, 다시 설치하였습니다 ! 설치한 부분을 차례대로 캡쳐해서 올리겠습니다!! ㅠㅠ죄송하지만 한번 더 조언부탁드립니다 ㅠㅠ hdfs-site.xml mapred-site.xml yarn-site.xml home/jm/.bashrc 자바 hadoop-env.sh jps도 실행이 안되고 저는 이부분에 local host뒷부분이 선생님이랑 다릅니다!

Billy Lee · Answer

지민님에게 우선 지민님의 유분투 설정과 하둡 설정이 다르다는 것을 봤습니다. 1. 하둡의 네임노드(namenode)와 데이터 노드(datanode) 설정 경로가 우분투 경로와 다르네요. 지민님은 우분투 설치시 jm 으로 이름(Your name)을 정하셨으니 네임노드와 데이터노드는 다음과 같이 디렉토리를 만드셔야 합니다. mkdir -p /home/jm/hadoop/hdfs/namenode mkdir -p /home/jm/hadoop/hdfs/datanode 여기 저의 설정(/home/neuavenue/hdfs/namenode datanode ) 과 다르게 하셔야 하는 것이죠... 저의 우분투 이름을 neuavenue로 하였기 때문에 다르죠. 2. 지민님의 우분투의 하둡 설치 루트(root) 디렉토리가 /home/jm/hadoop이라는 것을 유념하세요. 그 아래 하위 디렉토리가 모두 하둡 관련 파일들이 되구요. 3. hdfs-site.xml 하둡의 HDFS 설정이 잘 못되었다는 것을 이제 아실겁니다. 아래처럼 바꾸세요. file:///home/jm/hadoop/hdfs/namenode file:///home/jm/hadoop/hdfs/datanode 4. mapred-site.xml 마찬가지로 /home/jm/hadoop 으로 경로를 모두 바꾸셔야 합니다. 5. HADOOP_HOME hadoop_home="/home/jm/hadoop" 이 경로가 정확한 겁니다. 밑에 그림처럼 username 이 neuavenue 이기 때문에 "/home/neuavenue/" 이 저의 경로이며 지민님의 경로는 /home/jm 입니다. 여기 디렉토리에서 지민님은 hadoop 폴더에 hadoop 3.2.1 압축 파일을 풀어 넣은 경우이죠.. 이를 잘 이해를 하셔야 하둡 설정을 성공하게 됩니다. 이를 잘 유념하시고 설정을 바꾸시고 다시 jps 실행을 해보세요.. 안되시면 우분투를 다시 설치하면서 username을 'jm'으로 해보신 뒤 하둡 설치를 해당 경로 jm 디렉토리 밑에 두시기 바랍니다. 또 다시 해보시고 안되면 에러를 보내주세요. 토론토에서 빌리 올림