인프런 커뮤니티 질문&답변
작성한 질문수
mapreduce 부분에서 job이 실행되지 않습니다.
해결된 질문
작성
·
269
·
수정됨
0
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice 의 커맨드 실행하면 아래와 같은 로그가 나오고 더이상 실행되지 않습니다.
23/10/04 20:52:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
23/10/04 20:52:14 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032
23/10/04 20:52:15 INFO input.FileInputFormat: Total input paths to process : 1
23/10/04 20:52:16 INFO mapreduce.JobSubmitter: number of splits:1
23/10/04 20:52:16 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1696420330687_0001
23/10/04 20:52:16 INFO impl.YarnClientImpl: Submitted application application_1696420330687_0001
23/10/04 20:52:17 INFO mapreduce.Job: The url to track the job: http://218.38.137.27:8088/proxy/application_1696420330687_0001/
23/10/04 20:52:17 INFO mapreduce.Job: Running job: job_1696420330687_0001위 상태에서 그대로 멈춰있습니다.
jps 결과값은 아래와 같습니다.
80752 NodeManager
80805 RunJar
80996 Jps
68263 NameNode
80663 ResourceManager
15464
68495 SecondaryNameNode
68366 DataNode
혹시 몰라서 리소스매니저(port 8088)의 스크린샷을 첨부하였습니다.
아래는 yarn-site.xml입니다.
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>127.0.0.1</value>
</property>
해결할 수 있는 방법을 알 수 있을까요?
답변 1
0
안녕하세요 우정식님,
우선 강의를 열심히 수강해주셔서 감사합니다. 몇가지 사항들을 검토해봐야하는데 제가 직접 머신에 접근을해서 확인할 수 없는 상황이라 해결하는데 다소 시간이 걸릴 수 있습니다.
우선 데몬들은 다 정상적으로 올라온 것 같습니다만, 일단 hadoop fs -cat input 이라고 했을때 데이터가 정상적으로 출력되나요? (데이터가 정상적으로 저장되고 적재되는지 확인하기 위해서 & 그리고 namenode format 혹시 두번 하셨던적이 있을까요? 가령 포맷당시 overwrite 할것인지 말것인지 물어봤는지)
hadoop 폴더안에 logs 폴더가 있을겁니다. 그 안에 먼저
*-resourcemanager.log와*-nodemanager.log를 살펴보시면 이상있다는 로그가 나올텐데 확인하시고 혹시나 /etc/hadoop/ 세팅한 coniguration들을 다시 한번 살펴보시기 바랍니다. 발견하셨으면 수정하시고 stop-all.sh 하신다음 (가능하다면 재부팅까지 /tmp/* 폴더를 초기화 시켜주기 위해) 다시 start-all.sh 해서 정상 데몬들 올리시고 job 재실행보시기바랍니다.
로그를 봐도 이상한게 없어서 처음부터 다시 설정했더니 동작하였습니다. 감사합니다.