-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
해결됨
Connection Refused Error
21.10.01 23:58 작성 조회수 210
0
- server01 포트 검사
$ netstat -nap | grep 8020
을 수행한 결과 LISTEN으로 동작하였습니다
/user/hive/warehouse/managed_smartcar_dirve_info/biz_date=20210901의 경로로 가서 확인한 결과 파일이 존재합니다.
Connection refused 이유가 무엇인지 나름대로 찾아봤는데 발견하지 못했습니다. 어떤 원인이 있을까요?
답변을 작성해보세요.
0
Big.D
지식공유자2021.10.02
안녕하세요! KMJ님!
2가지 체크 부탁 드립니다.
먼저 HDFS가 Safe 모드로 전환 됐는지 확인 부탁 드리고요,
$ hdfs dfsadmin -safemode get
만약 Safe 모드가 On 이라면 아래명령으로 해제해 주시고요,
$ hdfs dfsadmin -safemode leave
두번째로 HDFS 권한 검사 미사용 체크확인도 해주세요,
"CM홈 > HDFS > 구성"에서 검색란에 "HDFS 권한 검사" 입력후, 해당기능 해제 되었는지 확인
HDFS 권한검사 해제는 잘 되어 있을것 같지만 그래도 확인 부탁드립니다.
- 빅디 드림
K MJ
질문자2021.10.05
답변 감사드립니다.
둘다 확인했는데
1. OFF 상태입니다.
2. HDFS 권한 검사 해제 되어 있습니다.
찾아보니 spark_Home의 setup문제이거나
HDFS의 문제인 것 같은데
혹시 $spark_home은 ./bash_profile에 환경변수 설정하지 않아도 되나요?
참고로 zeppelin-env.sh는 설정했습니다.
./bash_profile에 zeppelin도 설정되어 있습니다.
Big.D
지식공유자2021.10.06
안녕하세요! KMJ님!
음..요건 profile문제는 아닌것 같습니다.
혹시 제플린 환경구성시 아래 명령어 실행이 빠졌었는지 확인부탁 드립니다. - 빅디 드림
$ chmod 777 /tmp/hive
$ cp /etc/hive/conf/hive-site.xml /home/pilot-pjt/zeppelin/conf
K MJ
질문자2021.10.06
설정에서 빠뜨린 부분은 없습니다.
아니면 VM memory 문제가 아닐까요..?
수정 + )
왜인지 모르겠는데 zeppelin-daemon.sh restart 후에 갑자기 되네요..
Big.D
지식공유자2021.10.06
Connection Refuse는 메모리 문제는 아닙니다.
아래 telnet 명령 결과 캡쳐 부탁드립니다. - 빅디 드림
1. Putty로 Server02 접속
2. telnet 명령어 설치
$ yum install telnet
3. Server01의 hdfs 및 Server02의 hive 포트 확인
$ telnet server01.hadoop.com 8020
$ telnet server02.hadoop.com 9083
답변 1