hue에서 파일 업로드가 정상적으로 되지 않습니다.
.답변 2
0
내용을 삭제해서 용량을 10kb정도로 줄이니까 업로드가 됩니다.
HDFS용량은 그래도 여유가 있는것 같고
0
네~ HDFS의 퍼미션 or 여유공간 문제는 아닌것 같습니다.
실습PC 환경의 특성(브라우져/보안/백신 프로그램 등)을 타는것 같기도 한데요..
일반적으로 파일을 PC에서 서버로 업로드 될땐 파일이 쪼개져서 올라가는데, 큰파일의 경우 브라우져(Chrome)와 WebHDFS 간의 세션 연결 시간이 길어지면서 통신에 문제가 발생 하는것으로 보입니다.
우선 아래 HDFS 명령으로 해당 파일(사이즈 유지)을 직접 업로드해서 실습을 진행해봐 주세요~
1. CarItemBuyList_202003.txt 파일을 파일질라를 통해 Server02의 /home/pilot-pjt에 업로드
2. putty로 Server02에 접속해 아래 명령으로 해당 파일을 HDFS에 직접 업로드
$ hdfs dfs -put /home/pilot-pjt/CarItemBuyList_202003.txt /pilot-pjt/collect/buy-list
추가로 아래 점검 명령을통해 HDFS에 문제 (“CORRUPT FILES”, “MISSING BLOCKS”, “MISSING SIZE”, “CORRUPT BLOCKS”)가 있는지, Safe 모드 인지등을 체크해 봐 주시고요..
$ hdfs fsck /
$ hdfs dfsadmin -report
참고로 로그는 HDFS에 업로드중 문제가 발생 했기 때문에 아래의 위치에 있는 네임노드 및 데이터노드의 로그를 확인해 보시면 됩니다.
/var/log/hadoop-hdfs
- 빅디 드림
주제영역3 데이타 조회 문의
0
57
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
137
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
139
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
113
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2