Data Engineering Course (1) : ๋น ๋ฐ์ดํฐ ํ๋ก ์ง์ ์ค์นํ๊ธฐ
ํ๋ก๊ณผ ๋น ๋ฐ์ดํฐ๋ฅผ ๋ฐฐ์ฐ๊ณ ์ ํ๋ ์๊ฐ์๋ค์ ์ด ๊ณผ์ ์ ํตํด ๋น ๋ฐ์ดํฐ ์ธ๊ณ๋ฅผ ๊ฒฝํํ๋ ๋๋ผ์ด ๋ฐ์ ์ ๊ธฐ๋ ํ ๊ฒ์ ๋๋ค!
์๊ฐ์ 580๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ

๋ค๋ฅธ ์๊ฐ์๋ค์ด ์์ฃผ ๋ฌผ์ด๋ณด๋ ์ง๋ฌธ์ด ๊ถ๊ธํ์ ๊ฐ์?
- ๋ฏธํด๊ฒฐ
์๋ฐ ํ๊ฒฝ์ค์ PATH ์ฐ๊ฒฐ
์๋ ํ์ธ์. ์์ ์ ๋ฃ๊ณ ์์ต๋๋ค.์ด ์์ 4๋ถ์ ์๋ฐ PATH ์ค์ ํ๋ ๋ถ๋ถ์ /usr/lib/jvm/jdk1.8.0_271 ์ด ํด๋ ์์ /etc/environment ๊ฐ ์์ด์ vi ํน์ vim ์ด ์ ์ฉ๋์ง ์์ต๋๋ค. ๋ฒ์ ์ด ์ ๊ทธ๋ ์ด๋ ๋๊ฒ
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋ง๊นํํ
ใป
0
224
1
- ๋ฏธํด๊ฒฐ
๋์์ ์ฌ์์ด ์๋ฉ๋๋ค.
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ ๋ฌธ์๋ 1:1 ๋ฌธ์ํ๊ธฐ๋ฅผ ์ด์ฉํด์ฃผ์ธ์.
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋ง์ค๋ฉด์ฉ
ใป
0
263
2
- ๋ฏธํด๊ฒฐ
sbin/start-dfs.sh Permission denied ์๋ฌ
์์ ์ค /usr/lib/hadoop/logs ๊ฒฝ๋ก๋ฅผ ๊ฑด๋ ์ ์ด ์๋๋ฐ..ssh๋ฅผ ์ดํด ํ์ง ๋ชปํ๋ ์ํฉ์์ ๋ฌธ์ ๊ฐ ์๊ธด ๊ฑธ๊น์..? ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งํํ๊ฒฝ
ใป
0
403
1
- ํด๊ฒฐ
Hadop 3.2.1 ๋ฒ์ ์ง์์ ์ํ๋๊ฑฐ ๊ฐ์ต๋๋ค
3.3.6 ๋ฒ์ ์ผ๋ก ์งํ ํ์ฌ๋ ์๊ด ์๋์?ํน์.. ๋ฆฌ๋ด์ผ.. ๊ณํ์ด ์์ผ์ ๊ฐ์..ํฐ๋ฏธ๋ ์ฐฝ์ด ๋๋ฌด ๋ฐ๋ฅ ๊น์ง ์์ด์ ์ด๋ก์ ์งํ ๋ฐ์ ํฐ๋ฏธ๋ ์ฐฝ์ด๋ ๊ณ์ ๊ฒน์ณ์ ๋ณด๊ธฐ๊ฐ ํ๋ญ๋๋ค..ใ <img src="https://cdn.i
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งํํ๊ฒฝ
ใป
0
328
1
- ๋ฏธํด๊ฒฐ
ํ์ฅํฉ ํ์ ์ ๋ฌด
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ ๋ฌธ์๋ 1:1 ๋ฌธ์ํ๊ธฐ๋ฅผ ์ด์ฉํด์ฃผ์ธ์. ๋ฒ
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งvinwoon
ใป
0
303
1
- ๋ฏธํด๊ฒฐ
jdk ์ค์น ์ ๋ฌด ๋ฌธ์
์ธํฐ๋ท ๋ณด๋ฉด์ ์๋ฐ ํ๊ฒฝ ๋ณ์ ์ค์ ์ ํด๋ณด์๋๋ฐ ํน์ ์ ๋๋ก ๋ ๊ฒ์ด ๋ง์๊น์..? ใ ใ ์๋ฐ ํ๊ฒฝ ๋ณ์ ๋ถํฐ ์ฝ์ง ์๋ค์ -- ์๋ฐ ์ค์นsudo apt-get install openjdk-8
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งํํ๊ฒฝ
ใป
0
259
1
- ๋ฏธํด๊ฒฐ
apt-get install openjdk-8-jdk ์ค์น ๋ฌธ์
์๋ ํ์ธ์ ๊ฐ์ฌ๋! ๋จผ์ ์ธํ๋ฐ์์ ํ๋ก์ ๊ณต๋ถ ํ ์ ์๋๋ก ๊ฐ์ ๋ด์ฃผ์ ์ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค! <img src="https://cdn.inflearn.com/public/files/posts/b43e7fd5
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งํํ๊ฒฝ
ใป
0
733
1
- ํด๊ฒฐ
๊ฐ์ ๋ด์ฉ ๋ธ๋ก๊ทธ ์์ฑ ๊ด๋ จ ๋ฌธ์
์๋ ํ์ธ์ ๋น๋ฆฌ๋, ์ต๊ทผ ๊ฐ์ ์๊ฐ์ ์์ํ ์๊ฐ์์ ๋๋ค.๋ค๋ฆ์ด ์๋๋ผ, ๋ธ๋ก๊ทธ์ ๊ฐ์ ๋ด์ฉ์ ์ ๋ฆฌํ๋ฉฐ ๋ด์ฉ์ ๋ฆฌ๋ง์ธ๋ ํ๊ณ ์ถ์๋ฐ์,๊ฐ์ ๋ด์ฉ์ ๋ค์ด๊ฐ ์๋ ์ฌ๋ผ์ด๋๋ฅผ ์ผ๋ถ ์ฌ์ฉํ์ฌ ๊ฒ์๊ธ์ ์์ฑํด๋ ๋ ์ง ๋ฌธ์ ๋๋ฆฌ๊ณ ์ถ์ต๋๋ค.</p
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งJADE
ใป
0
313
1
- ๋ฏธํด๊ฒฐ
ํ๋ก ๋ช ๋ น์ด ์คํ์ ์ค๋ฅ ๋ฌธ์
~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library fo
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งlojo03078
ใป
0
473
2
- ๋ฏธํด๊ฒฐ
ํ๋ก ๋ช ๋ น์ด ์คํ์ ์ค๋ฅ
~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งlojo03078
ใป
0
565
1
- ํด๊ฒฐ
๋ ธํธ๋ถ ๋จ์ด 8GB ์ธ๋ฐ ๊ด์ฐฎ๋์?
์๋ฒ๋ฅผ ๊ณ์ ์ผ๋๊ณ ์ถ์ด์ ์ฌ์ฉํ์ง ์๋ ๋ ธํธ๋ถ์ 2gb ubuntu desktop์ ์ค์นํ๋๋ฐ, ๊ฐ์๋ฅผ ์งํํ๋๋ฐ ๋ฌธ์ ์์๊น์? ํด๋น ๋ ธํธ๋ถ์ ๋ค๋ฅธ ์ฉ๋๋ก๋ ์ ํ ์ฌ์ฉํ์ง ์๊ณ , ๊ฐ์๋ด์ฉ์ ๋ค๋ฅธ pc์์ Xshell๊ณผ ํฌ๋กฌ ๋ฐ์คํฌํฑ ํ๋ฉด ๊ณต์ ๋ฅผ ํ์ฉํ๋ฉด์ ์คํ
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งasdqweasdzxcasd
ใป
1
393
1
- ๋ฏธํด๊ฒฐ
Virtual Box ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค.
์์ฐจ์ ์ผ๋ก Virtual Box๋ฅผ ์ค์นํ์ฌ ์งํ ์ค์ ๋๋ค.Virtual Box Version๊ณผ Ubuntu Version๋ ๋์ผํ ๊ฒ์ ์ ํํ์ฌ ์งํํจ์๋ ๋ถ๊ตฌํ๊ณ ๋ถํ ํ ์ค์น๊ณผ์ ์์ ๊ณ์ํด์ ๊นจ์ง๋ค์.. 10๋ฒ ๋๊ฒ ISOํ์ผ ๋ค์ ๋ค์ด๋ฐ๊ณ ์งํํด
์ฑ์ฑ
ใป
0
339
1
- ๋ฏธํด๊ฒฐ
start-dfs.sh๊ฐ ์๋ํ์ง ์์ต๋๋ค.
๊ฐ์์ ์๋ ๋ชจ๋ ์คํฌ๋ฆฝํธ๋ฅผ ์คํ์์ด ์์ฑํ์๊ณ namenode format๊น์ง ์ ์์ ์ผ๋ก ๋๋๋๋ฐ ๊ทธ ๋ค์ ์์์ธ start-dfs.sh๊ฐ ๋์ํ์ง ์์ต๋๋ค. ํด๋น ๋ช ๋ น์ด๋ฅผ ์น๊ณ ๋ ํ ์๋ฌด์ผ๋ ๋ฐ์ํ์ง ์๊ณ , jps๋ก ๋ด๋ ๋์ํ์ง ์์ต๋๋ค. ํด๋น ์ ์คํฌ๋ฆฝํธ
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋ง์์ฑ์ ์์
ใป
0
421
1
- ํด๊ฒฐ
์ฐ๋ถํฌ ๋ฒ์ ๋ฌธ์
์๋ ํ์ธ์, ์ ์๋!์ ์๋ ๊ฐ์๋ฅผ ๋ฃ๊ณ ์๋ ํ์์ ๋๋ค.์ฐ๋ถํฌ ๋ฒ์ ๊ด๋ จํ์ฌ ์ง๋ฌธ ๋๋ฆฌ๊ณ ์ถ์ต๋๋ค!์ ๊ฐ ์ง๊ธ ์น์ 6. ํ๋ก ์ ๋๋ด[2] : ํ๋ก ์ค์น[2] - Hadoop 3.2.1 ์ค์นํ๊ธฐ (๋ฒ์ถ์ผ๋ฐ์ค ์์
Hadoopbigdata๋ฐ์ดํฐ ์์ง๋์ด๋งh.agnes
ใป
0
339
1
- ๋ฏธํด๊ฒฐ
Namenode ํด๋ format ๋์ค ๋ฐ์ํ ์ค๋ฅ์ ๋๋ค.
์๋ ํ์ธ์.ํ๊ธฐ ๋ช ๋ น์ด ์คํ ๋์ค ์ค๋ฅ๊ฐ ๋ฐ์ํ์ฌ ๋ฌธ์๋๋ฆฝ๋๋ค.<img src="https://cdn.inflearn.com/public/files/posts/b675ce9f-8809-4084-b734-e91b03bf4141/image.p
๋ฐ์ดํฐ ์์ง๋์ด๋งHadoopbigdataJUNU
ใป
0
538
1
- ํด๊ฒฐ
์ฐ๋ถํฌ ์ค์น ๋์ค ์ค๋ฅ ๋ฌธ์๋๋ฆฝ๋๋ค.
๋ฒ์ถ์ผ ๋จธ์ ์ ํตํ์ฌ ์ฐ๋ถํฌ ์ค์น ์งํ ์ ํด๋น ์ค๋ฅ๊ฐ ๋ ์ ํด๊ฒฐ ๋ฐฉ๋ฒ์ ๋ํด ๋ฌธ์๋๋ฆฝ๋๋ค.<img src="https://cdn.inflearn.com/public/files/posts/48ab7826-7df9-4063-82b5-092a5dde1b1
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋งJUNU
ใป
1
934
1
- ๋ฏธํด๊ฒฐ
put, copyFromLocal๊ณผ get, copyToLocal
์๋ ํ์ธ์ ๊ฐ์ฌ๋ ๊ฐ์ ์ ๋ง ์ ๋ฃ๊ณ ์์ต๋๋ค. ๋ค๋ฆ์ด ์๋๋ผ put, copyFromLocal๊ณผ get, copyToLocal๋ ์๋ก ๊ฐ์ ๋ช ๋ น์ด์ธ๋ฐ ์ ๋ ๊ฒ ๊ฐ์ ๋ช ๋ น์ด๋ฅผ ๋๊ฐ๋ ๋ง๋ ์ด์ ๊ฐ ์์๊น์? ํน์ ์ฑ๋ฅ์ด๋ ๊ธฐํ ๋ค๋ฅธ ์ ์์ ์ฐจ์ด๊ฐ ์๋ ๊ฒ
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋ง์ค๋ชฐ๋ด์
ใป
0
384
1
- ๋ฏธํด๊ฒฐ
ํน์ ๋ถ๋ถ์์์ ๋ฏธ๋์
์๋ ํ์ญ๋๊น ใ ใ ใ ์ด ๊ณ ๊ฐ๋ง ๋๊ธฐ๋ฉด ํ๋ก์ ๋ณธ๊ฒฉ์ ์ผ๋ก ํ์ตํ ์ ์์ ๊ฒ ๊ฐ์์ ๊ธฐ๋ํ๋ฉฐ ์ง๋ฌธ ๋จ๊น๋๋ค!์ฐธ๊ณ ๋ก, ํ๋ก ๋ฒ์ ์ ๊ฒฝ์ฐ ๋ง์ ์ฃผ์ ์ฌ์ดํธ์ ๊ฐ์ ํ์ธํด๋ณด๋ 3.2.1 ๋ฒ์ ์ด ํ์ฌ ์์ด์, ๊ธฐ์กด ์ง๋ฌธ ๊ธ ์ฐธ๊ณ ํด 3.2.3 ๋ฒ์ ์ผ๋ก
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋ง์ฌํ
ใป
0
396
3
- ๋ฏธํด๊ฒฐ
Ubuntu ํ๊ฒฝ์์ jdk ์์ถ ํด์ ์ ์ค๋ฅ ๋ฐ์ ๊ด๋ จํ์ฌ ์ง๋ฌธ๋๋ฆฝ๋๋ค!
๊ฐ์ ๊ฐ์ฌํฉ๋๋ค ํญ์ ์ฌ๋ฏธ์๊ฒ ๋ฃ๊ณ ์์ต๋๋ค! ๊ฐ์๋ฅผ ๋ค์ผ๋ฉฐ ์ค์ตํด๋ณด๋ ์ค ์ค๋ฅ๊ฐ ๋ฐ์ํด์ ์ง๋ฌธ ๋จ๊น๋๋ค..! <img src="https://cdn.inflearn.com/public/fi
ubuntujavaHadoopjdkbigdata๋ฐ์ดํฐ ์์ง๋์ด๋ง์ฌํ
ใป
0
520
2
- ๋ฏธํด๊ฒฐ
12๊ฐ _- ํ๋ก ๋ถ์ฐ ํ์ผ ์์คํ ์์ ํ์ด์ฌ ๋งตํผ์ ๋ฆฌ๋์ ์์ค ๊ตฌํ ์ค์ ํธ ( Build Mappe..) ==> 4๋ถ37์ด ๋ถ๋ถ
<div class="type-placeholder" s
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋ง์ ๋ฆฌ
ใป
0
228
1






