๋น ๋ฐ์ดํฐ ํด๋ฌ์คํฐ ๊ตฌ์ถ ํจํค์ง; ์ฑ๊ณต์ ํฅํ ๋ก๋๋งต
High Availability๊ฐ ๋ณด์ฅ๋๋ ๋น ๋ฐ์ดํฐ ์์คํ ๋๋ ๋ถ์ฐ์ฒ๋ฆฌ ์์คํ ํด๋ฌ์คํฐ (HDFS, Zookeeper, Spark, Zeppelin) ๋ฅผ ์ง์ ๊ตฌ์ถํด๋ณด๋ ์ฝ๋๋ฉ ์์ฃผ์ ์์ ์ ๋๋ค.
์๊ฐ์ 120๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

- ๋ฏธํด๊ฒฐ
zookeeper security group ์๋ฌ
์๋ ํ์ธ์! zookeeper start ์คํ์ ์๊พธ connection refused ์๋ฌ๊ฐ ๋์ ๋ฌธ์๋๋ฆฝ๋๋ค.... ใ ใ ๊ฐ์์ ๋์จ ๋๋ก security group ์ค์ ํ๊ณ ping test
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterfade
ใป
0
393
2
- ํด๊ฒฐ
ssh master02 ์ ๋ ฅ์ permission denied ์๋ฌ
์๋ ํ์ธ์ssh master02 ์ ๋ ฅ์ permission denied ์๋ฌ๊ฐ ๋ฐ์ํ์ต๋๋ค. ใ ใ ์ด์ ๊ฐ์์์ ์ ์์ ์ผ๋ก SSH ๋ฑ๋กํ๊ณ AMI ์ด๋ฏธ์ง ๋ง๋ค๊ณ launch instance๊น์ง ์๋ฃํ๋๋ฐ ์ค๋ฅ๊ฐ ๋ฐ์ํ
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งcluster์์ฑ์ ์์
ใป
0
351
2
- ํด๊ฒฐ
vim etc/hosts ์ง๋ฌธ
AMI ์์ฑ ํ์ instance๋ฅผ ๊ฐ๊ฐ 4๊ฐ์ฉ launch๋ฅผ ํ๋๋ฐ์์์ ์ ์ด๋ฏธ์ง์ ๋ค๋ฅด๊ฒ sudo vim etc/hosts๋ฅผ ํด๋ ๋น ํ์ผ์ด ์ด๋ฆฝ๋๋ค.ip ๋ฆฌ์คํธ๋ฅผ ์์ฑํ๊ณ ์ ์ฅํ๋ ค๊ณ ํ๋ can't open ์๋ฌ๊ฐ ๋ฐ์ํ๊ณ ์. </
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterfade
ใป
0
403
2
- ํด๊ฒฐ
์น์ 9. Codelab Guidance ์ฌ์ ์ค๋ฅ
์๋ ํ์ธ์. ์น์ 9. Godelab Guidance ์์๋ง ์ฌ์์ด ๋์ง ์๋๋ฐ ํ์ธ ๋ถํ๋๋ฆฝ๋๋ค. (๋ค๋ฅธ ์์์ ์ฌ์ ์ ๋ฉ๋๋ค.)๊ฐ์ฌํฉ๋๋ค.
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterseoeun
ใป
1
249
2
- ํด๊ฒฐ
์์ ์ ์ฐ์ธ ์ฝ๋ ๊ด๋ จ
์๋ ํ์ธ์. ๊ฐ์ฌ๋.์ข์ ๊ฐ์ ์ด๋ฒ์๋ ๊ฐ์ฌ๋๋ ค์~ํ์ฌ ์ฐ๋ถํฌ๋ก ์ด๋ฏธ์ง๋ฅผ ๋ง๋ค๊ณ ์๋๋ฐ๋ช ๋ น์ด๋ฅผ ํ์ดํ ์ ์ข ์ข ์คํ๊ฐ ์์ต๋๋ค.๊ทธ๋์ ๋ช ๋ น์ด๋ฅผ ํน์ ๋ชจ์๋ ๊ณณ์ด ์๋์ง ์ง๋ฌธ๋๋ฆฝ๋๋๋ค.
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterJason.king
ใป
0
392
2
- ํด๊ฒฐ
๊ฐ์์๋ฃ
ํน์ ๊ฐ์ ์๋ฃ๋ ์ด๋์ ์ป์ ์ ์์๊น์? ๊ฐ์ธ์ ์ผ๋ก ์ธํ๋ฐ ๊ฐ์ ๊ตฌ๋งคํ ์ฌ๋ ์ ๋๋ค.
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterYeonwoo Jung
ใป
0
260
1
- ํด๊ฒฐ
QJM์ Split Brain ํด๊ฒฐ๋ฒ๊ณผ Zookeper์ Split Brain ํด๊ฒฐ๋ฒ์ ์ฐจ์ด์ ๋ํ ์ง๋ฌธ
์๋ ํ์ธ์. ๊ฐ์ฌ๋์ ๊ฐ์๋ฅผ ๋ฃ๋ ๋์ค, ์ง๋ฌธ์ ๋ด์ฉ๊ณผ ๊ฐ์ด, Zookeper์ Split Brain ๋ฐฉ์๊ณผ QJM์ Split Brain ๋ฐฉ์์ ์ฐจ์ด๊ฐ ํท๊ฐ๋ ค์, ์ง๋ฌธ ๋๋ฆฌ๊ฒ ๋์์ต๋๋ค.์ ๊ฐ ์ดํดํ ๋ฐ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.๋จผ์ , Network
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterminsubrother
ใป
1
407
1
- ํด๊ฒฐ
HDFS Federation ์ง๋ฌธ์์ต๋๋ค!
๋น ์ง์์ด ํ๋์ฉ ํ๋์ฉ ๊ฐ๋ฅด์ณ์ฃผ์๋ ์ ๊ฐ์ ๋ ๋ฒจ์ ๊ณ์ ๋ฐ๋ณตํด์ ๋ณด๋ฉด ํฐ ๋์์ด๋ ๊ฒ ๊ฐ์ต๋๋ค!๊ฐ์ ๋์ค๋ ๊ฐ๋ ์ค์ HDFS Fedeartion์ด ์ฌ๋ฌ๊ฐ ๋ค์์คํ์ด์ค? ๋ค์์๋น์ค๋ฅผ ์ง์ํ๋ค๊ณ ํ๋๋ฐ ์ฝ๋๋ฉ์์๋ ์ผ๋จ ํ๋๋ง ์จ์ ์งํํ์๋ ๊ฒ ๊ฐ์๋ฐ.
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclusterbreeze90
ใป
2
294
2
- ํด๊ฒฐ
์๋ ํ์ธ์, ์ฑ๋ฅํ๊ฐ์ ๋ํด ๊ถ๊ธํฉ๋๋ค.
์ ๊ฐ ๊ฐ์์์ ๋์น ๋ถ๋ถ์ด ์๋์ง ๋ชจ๋ฅด๊ฒ ์ง๋ง,์ ๊ฐ ๋ง๋ ๋น ๋ฐ์ดํฐ ํด๋ฌ์คํฐ๊ฐ ์ ๋ง๋ค์๋์ง ์๋์ง ๊ถ๊ธํ ๋๊ฐ ์๋๋ฐ์ ! ์ ๊ฐ ๋ง๋ ํด๋ฌ์คํฐ์ ์ฑ๋ฅํ๊ฐ์ ๋ํ ๋ถ๋ถ์ ์ด๋ป๊ฒ ์งํํด์ผ ํ๋์ง ๊ถ๊ธํฉ๋๋ค.
๋น ๋ฐ์ดํฐhadoopapache-spark๋ฐ์ดํฐ-์์ง๋์ด๋งclustergrgwde23
ใป
1
285
2






