inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치

고사양 pc Inspector 를 한 후에 결과...

277

박범

작성한 질문수 5

0

(처음부터 다시 한번 해보겠습니다..)
 
클러스터에 있는 host들을 다 삭제하고 다시 host 추가를 한 상황입니다.
 
inspector의 몇가지가 경고 문구가 뜬 것중에 ...
설명이나 꼭 교체되어야 하는 것이 있다면 코멘트 부탁드려도 될까요 ?!

설정문제는 괜찮을 것 같은데,
버전이 안맞는 것들은 수정이 필요해 보여서요 !!
 
Supervisord,
Java,
Postgresql
 

bigdata Hadoop ZooKeeper 데이터 엔지니어링 Flume redis Impala Kafka

답변 2

1

박범

그런데,, postgresql 주소를 접속했는데 왜 접속이 안되는지 알 수 있을까요 ???

server01.hadoop.com:7432


내장 db에서 어떤 역할을 하는지도 궁금합니다 !!

0

Big.D

네~ PostgreSQL은 Cloudera Manager의 정보를 저장관리하는 DB로, 뒤에서 Hive를 위한 메터스토어 DB로 사용 됩니다.

접속이 안되는 상황은 좀더 구체적으로 말씀해 주실 수 있는지요?!

- 빅디 드림

0

박범

강의에 보면 

postgresql "호스트 이름" 으로 server01.hadoop.com:7432 라고 뜨는 부분이 있어서
내장 db를 설치하면, 위의 주소로 크롬에 접속을 하면 postgresql 페이지가 뜨는 것으로 생각하고 있었습니다 . 

[root@server01 ~]# service cloudera-scm-server-db status

pg_ctl: server is running (PID: 1853)

/usr/bin/postgres "-D" "/var/lib/cloudera-scm-server-db/data"

 

이렇게 결과도 나왔고 해서 위의 주소로 접속하면 페이지가 나오는 줄 알았습니다 


그런데 아래 사진같이 떠서요,
결론은 작동에는 상관없다는 말씀이신거죠 ?!



0

Big.D

아~ 네! ㅎㅎ

파일럿 뒷부분에 가면 Postgre에 접속해 분석 결과를 Export하는 단계가 있습니다. 

그때 궁금한건 좍인 하실 수 있을겁니다. 

- 빅디 드림

0

박범

감사합니다!!

1

Big.D

네~ 괜찮습니다. ^^

참고로 메모리 swappiness의 경우 실환경에선 10을 설정 하는것이 최적이지만..

파일럿 환경에선 메모리 스왑을 최대한 사용해야 하기 때문에 현 설정값(100)을 유지 하시면 됩니다.

파이썬 버젼은 뒤에 탐색단계에서 업그레이드 하는 과정이 있고요,

PostgreSQL 버젼관련 경고는 파일럿을 진행 하시는데 문제없습니다.

- 빅디 드림

주제영역3 데이타 조회 문의

0

40

2

환경 세팅 후 클라우데라매니저 삭제시

0

64

2

수강 기간 연장 부탁드립니다ㅠ

0

60

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

87

2

gcc 설치 에러

0

117

3

클러스터 설정 오류

0

91

2

클라우데라 클러스터 설치로 안넘어가짐

0

119

2

버추어박스 5.0 설치

0

141

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

79

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

149

3

환경세팅 질문있습니다.

0

107

2

버쥬얼박스

0

76

2

호스트 불량 문제에 관하여

0

110

2

하이브쿼리에서 에러가 나요...

0

169

3

하이브쿼리에서 에러

0

120

1

Hbase에 적재된 데이터 확인시 에러

0

147

2

파이썬 설치 시 에러

0

159

2

redis-cli 데이터 적재 확인

0

143

2

카프카 토픽 생성에서 에러

0

139

2

HDFS 명령어를 치는데 오류가 납니다

0

135

2

가상환경 내보내기

0

109

1

SpoolDIR 폴더로 옮기

0

104

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

122

2