Data Engineering Course (1): ใใใฐใใผใฟ Hadoop ใ็ดๆฅใคใณในใใผใซใใ
Hadoopใจใใใฐใใผใฟใๅญฆใณใใๅญฆ็ใฏใใใฎใณใผในใ้ใใฆใใใฐใใผใฟใฎไธ็ใไฝ้จใใ็ด ๆดใใใ็บๅฑใ็ฅใใพใ๏ผ
ๅ่ฌ็ 580ๅ
้ฃๆๅบฆ ๅ็ด
ๅ่ฌๆ้ ็กๅถ้

ไปใฎๅ่ฌ็ใใใใใ่ณชๅใๆฐใซใชใใพใใ๏ผ
- ๆช่งฃๆฑบ
์๋ฐ ํ๊ฒฝ์ค์ PATH ์ฐ๊ฒฐ
์๋ ํ์ธ์. ์์ ์ ๋ฃ๊ณ ์์ต๋๋ค.์ด ์์ 4๋ถ์ ์๋ฐ PATH ์ค์ ํ๋ ๋ถ๋ถ์ /usr/lib/jvm/jdk1.8.0_271 ์ด ํด๋ ์์ /etc/environment ๊ฐ ์์ด์ vi ํน์ vim ์ด ์ ์ฉ๋์ง ์์ต๋๋ค. ๋ฒ์ ์ด ์ ๊ทธ๋ ์ด๋ ๋๊ฒ
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งorca
ใป
0
224
1
- ๆช่งฃๆฑบ
๋์์ ์ฌ์์ด ์๋ฉ๋๋ค.
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ ๋ฌธ์๋ 1:1 ๋ฌธ์ํ๊ธฐ๋ฅผ ์ด์ฉํด์ฃผ์ธ์.
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งymy6002
ใป
0
263
2
- ๆช่งฃๆฑบ
sbin/start-dfs.sh Permission denied ์๋ฌ
์์ ์ค /usr/lib/hadoop/logs ๊ฒฝ๋ก๋ฅผ ๊ฑด๋ ์ ์ด ์๋๋ฐ..ssh๋ฅผ ์ดํด ํ์ง ๋ชปํ๋ ์ํฉ์์ ๋ฌธ์ ๊ฐ ์๊ธด ๊ฑธ๊น์..? ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งjason
ใป
0
403
1
- ่งฃๆฑบ
Hadop 3.2.1 ๋ฒ์ ์ง์์ ์ํ๋๊ฑฐ ๊ฐ์ต๋๋ค
3.3.6 ๋ฒ์ ์ผ๋ก ์งํ ํ์ฌ๋ ์๊ด ์๋์?ํน์.. ๋ฆฌ๋ด์ผ.. ๊ณํ์ด ์์ผ์ ๊ฐ์..ํฐ๋ฏธ๋ ์ฐฝ์ด ๋๋ฌด ๋ฐ๋ฅ ๊น์ง ์์ด์ ์ด๋ก์ ์งํ ๋ฐ์ ํฐ๋ฏธ๋ ์ฐฝ์ด๋ ๊ณ์ ๊ฒน์ณ์ ๋ณด๊ธฐ๊ฐ ํ๋ญ๋๋ค..ใ <img src="https://cdn.i
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งjason
ใป
0
328
1
- ๆช่งฃๆฑบ
ํ์ฅํฉ ํ์ ์ ๋ฌด
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์์! - ๋จผ์ ์ ์ฌํ ์ง๋ฌธ์ด ์์๋์ง ๊ฒ์ํด๋ณด์ธ์. - ์๋ก ์์๋ฅผ ์งํค๋ฉฐ ์กด์คํ๋ ๋ฌธํ๋ฅผ ๋ง๋ค์ด๊ฐ์. - ์ ๊น! ์ธํ๋ฐ ์๋น์ค ์ด์ ๊ด๋ จ ๋ฌธ์๋ 1:1 ๋ฌธ์ํ๊ธฐ๋ฅผ ์ด์ฉํด์ฃผ์ธ์. ๋ฒ
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งvinwoon5747
ใป
0
303
1
- ๆช่งฃๆฑบ
jdk ์ค์น ์ ๋ฌด ๋ฌธ์
์ธํฐ๋ท ๋ณด๋ฉด์ ์๋ฐ ํ๊ฒฝ ๋ณ์ ์ค์ ์ ํด๋ณด์๋๋ฐ ํน์ ์ ๋๋ก ๋ ๊ฒ์ด ๋ง์๊น์..? ใ ใ ์๋ฐ ํ๊ฒฝ ๋ณ์ ๋ถํฐ ์ฝ์ง ์๋ค์ -- ์๋ฐ ์ค์นsudo apt-get install openjdk-8
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งjason
ใป
0
259
1
- ๆช่งฃๆฑบ
apt-get install openjdk-8-jdk ์ค์น ๋ฌธ์
์๋ ํ์ธ์ ๊ฐ์ฌ๋! ๋จผ์ ์ธํ๋ฐ์์ ํ๋ก์ ๊ณต๋ถ ํ ์ ์๋๋ก ๊ฐ์ ๋ด์ฃผ์ ์ ๋๋ฌด ๊ฐ์ฌํฉ๋๋ค! <img src="https://cdn.inflearn.com/public/files/posts/b43e7fd5
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งjason
ใป
0
733
1
- ่งฃๆฑบ
๊ฐ์ ๋ด์ฉ ๋ธ๋ก๊ทธ ์์ฑ ๊ด๋ จ ๋ฌธ์
์๋ ํ์ธ์ ๋น๋ฆฌ๋, ์ต๊ทผ ๊ฐ์ ์๊ฐ์ ์์ํ ์๊ฐ์์ ๋๋ค.๋ค๋ฆ์ด ์๋๋ผ, ๋ธ๋ก๊ทธ์ ๊ฐ์ ๋ด์ฉ์ ์ ๋ฆฌํ๋ฉฐ ๋ด์ฉ์ ๋ฆฌ๋ง์ธ๋ ํ๊ณ ์ถ์๋ฐ์,๊ฐ์ ๋ด์ฉ์ ๋ค์ด๊ฐ ์๋ ์ฌ๋ผ์ด๋๋ฅผ ์ผ๋ถ ์ฌ์ฉํ์ฌ ๊ฒ์๊ธ์ ์์ฑํด๋ ๋ ์ง ๋ฌธ์ ๋๋ฆฌ๊ณ ์ถ์ต๋๋ค.</p
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งsuhyunpark4094
ใป
0
313
1
- ๆช่งฃๆฑบ
ํ๋ก ๋ช ๋ น์ด ์คํ์ ์ค๋ฅ ๋ฌธ์
~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library fo
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งlojo030787922
ใป
0
473
2
- ๆช่งฃๆฑบ
ํ๋ก ๋ช ๋ น์ด ์คํ์ ์ค๋ฅ
~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งlojo030787922
ใป
0
565
1
- ่งฃๆฑบ
๋ ธํธ๋ถ ๋จ์ด 8GB ์ธ๋ฐ ๊ด์ฐฎ๋์?
์๋ฒ๋ฅผ ๊ณ์ ์ผ๋๊ณ ์ถ์ด์ ์ฌ์ฉํ์ง ์๋ ๋ ธํธ๋ถ์ 2gb ubuntu desktop์ ์ค์นํ๋๋ฐ, ๊ฐ์๋ฅผ ์งํํ๋๋ฐ ๋ฌธ์ ์์๊น์? ํด๋น ๋ ธํธ๋ถ์ ๋ค๋ฅธ ์ฉ๋๋ก๋ ์ ํ ์ฌ์ฉํ์ง ์๊ณ , ๊ฐ์๋ด์ฉ์ ๋ค๋ฅธ pc์์ Xshell๊ณผ ํฌ๋กฌ ๋ฐ์คํฌํฑ ํ๋ฉด ๊ณต์ ๋ฅผ ํ์ฉํ๋ฉด์ ์คํ
๋น ๋ฐ์ดํฐhadoop๋ฐ์ดํฐ-์์ง๋์ด๋งasdqweasdzxcasd
ใป
1
393
1
- ๆช่งฃๆฑบ
Virtual Box ๋ฌธ์ ๊ฐ ๋ฐ์ํฉ๋๋ค.
์์ฐจ์ ์ผ๋ก Virtual Box๋ฅผ ์ค์นํ์ฌ ์งํ ์ค์ ๋๋ค.Virtual Box Version๊ณผ Ubuntu Version๋ ๋์ผํ ๊ฒ์ ์ ํํ์ฌ ์งํํจ์๋ ๋ถ๊ตฌํ๊ณ ๋ถํ ํ ์ค์น๊ณผ์ ์์ ๊ณ์ํด์ ๊นจ์ง๋ค์.. 10๋ฒ ๋๊ฒ ISOํ์ผ ๋ค์ ๋ค์ด๋ฐ๊ณ ์งํํด
kimuksung28942
ใป
0
339
1
- ๆช่งฃๆฑบ
start-dfs.sh๊ฐ ์๋ํ์ง ์์ต๋๋ค.
๊ฐ์์ ์๋ ๋ชจ๋ ์คํฌ๋ฆฝํธ๋ฅผ ์คํ์์ด ์์ฑํ์๊ณ namenode format๊น์ง ์ ์์ ์ผ๋ก ๋๋๋๋ฐ ๊ทธ ๋ค์ ์์์ธ start-dfs.sh๊ฐ ๋์ํ์ง ์์ต๋๋ค. ํด๋น ๋ช ๋ น์ด๋ฅผ ์น๊ณ ๋ ํ ์๋ฌด์ผ๋ ๋ฐ์ํ์ง ์๊ณ , jps๋ก ๋ด๋ ๋์ํ์ง ์์ต๋๋ค. ํด๋น ์ ์คํฌ๋ฆฝํธ
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋งไฝๆ่ ใชใ
ใป
0
421
1
- ่งฃๆฑบ
์ฐ๋ถํฌ ๋ฒ์ ๋ฌธ์
์๋ ํ์ธ์, ์ ์๋!์ ์๋ ๊ฐ์๋ฅผ ๋ฃ๊ณ ์๋ ํ์์ ๋๋ค.์ฐ๋ถํฌ ๋ฒ์ ๊ด๋ จํ์ฌ ์ง๋ฌธ ๋๋ฆฌ๊ณ ์ถ์ต๋๋ค!์ ๊ฐ ์ง๊ธ ์น์ 6. ํ๋ก ์ ๋๋ด[2] : ํ๋ก ์ค์น[2] - Hadoop 3.2.1 ์ค์นํ๊ธฐ (๋ฒ์ถ์ผ๋ฐ์ค ์์
Hadoopbigdata๋ฐ์ดํฐ ์์ง๋์ด๋งeb09042594
ใป
0
339
1
- ๆช่งฃๆฑบ
Namenode ํด๋ format ๋์ค ๋ฐ์ํ ์ค๋ฅ์ ๋๋ค.
์๋ ํ์ธ์.ํ๊ธฐ ๋ช ๋ น์ด ์คํ ๋์ค ์ค๋ฅ๊ฐ ๋ฐ์ํ์ฌ ๋ฌธ์๋๋ฆฝ๋๋ค.<img src="https://cdn.inflearn.com/public/files/posts/b675ce9f-8809-4084-b734-e91b03bf4141/image.p
๋ฐ์ดํฐ ์์ง๋์ด๋งHadoopbigdataghkdwnsdn32499
ใป
0
538
1
- ่งฃๆฑบ
์ฐ๋ถํฌ ์ค์น ๋์ค ์ค๋ฅ ๋ฌธ์๋๋ฆฝ๋๋ค.
๋ฒ์ถ์ผ ๋จธ์ ์ ํตํ์ฌ ์ฐ๋ถํฌ ์ค์น ์งํ ์ ํด๋น ์ค๋ฅ๊ฐ ๋ ์ ํด๊ฒฐ ๋ฐฉ๋ฒ์ ๋ํด ๋ฌธ์๋๋ฆฝ๋๋ค.<img src="https://cdn.inflearn.com/public/files/posts/48ab7826-7df9-4063-82b5-092a5dde1b1
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋งghkdwnsdn32499
ใป
1
934
1
- ๆช่งฃๆฑบ
put, copyFromLocal๊ณผ get, copyToLocal
์๋ ํ์ธ์ ๊ฐ์ฌ๋ ๊ฐ์ ์ ๋ง ์ ๋ฃ๊ณ ์์ต๋๋ค. ๋ค๋ฆ์ด ์๋๋ผ put, copyFromLocal๊ณผ get, copyToLocal๋ ์๋ก ๊ฐ์ ๋ช ๋ น์ด์ธ๋ฐ ์ ๋ ๊ฒ ๊ฐ์ ๋ช ๋ น์ด๋ฅผ ๋๊ฐ๋ ๋ง๋ ์ด์ ๊ฐ ์์๊น์? ํน์ ์ฑ๋ฅ์ด๋ ๊ธฐํ ๋ค๋ฅธ ์ ์์ ์ฐจ์ด๊ฐ ์๋ ๊ฒ
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋งkgw74010173
ใป
0
384
1
- ๆช่งฃๆฑบ
ํน์ ๋ถ๋ถ์์์ ๋ฏธ๋์
์๋ ํ์ญ๋๊น ใ ใ ใ ์ด ๊ณ ๊ฐ๋ง ๋๊ธฐ๋ฉด ํ๋ก์ ๋ณธ๊ฒฉ์ ์ผ๋ก ํ์ตํ ์ ์์ ๊ฒ ๊ฐ์์ ๊ธฐ๋ํ๋ฉฐ ์ง๋ฌธ ๋จ๊น๋๋ค!์ฐธ๊ณ ๋ก, ํ๋ก ๋ฒ์ ์ ๊ฒฝ์ฐ ๋ง์ ์ฃผ์ ์ฌ์ดํธ์ ๊ฐ์ ํ์ธํด๋ณด๋ 3.2.1 ๋ฒ์ ์ด ํ์ฌ ์์ด์, ๊ธฐ์กด ์ง๋ฌธ ๊ธ ์ฐธ๊ณ ํด 3.2.3 ๋ฒ์ ์ผ๋ก
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋งwozhddl3370
ใป
0
396
3
- ๆช่งฃๆฑบ
Ubuntu ํ๊ฒฝ์์ jdk ์์ถ ํด์ ์ ์ค๋ฅ ๋ฐ์ ๊ด๋ จํ์ฌ ์ง๋ฌธ๋๋ฆฝ๋๋ค!
๊ฐ์ ๊ฐ์ฌํฉ๋๋ค ํญ์ ์ฌ๋ฏธ์๊ฒ ๋ฃ๊ณ ์์ต๋๋ค! ๊ฐ์๋ฅผ ๋ค์ผ๋ฉฐ ์ค์ตํด๋ณด๋ ์ค ์ค๋ฅ๊ฐ ๋ฐ์ํด์ ์ง๋ฌธ ๋จ๊น๋๋ค..! <img src="https://cdn.inflearn.com/public/fi
ubuntujavaHadoopjdkbigdata๋ฐ์ดํฐ ์์ง๋์ด๋งwozhddl3370
ใป
0
520
2
- ๆช่งฃๆฑบ
12๊ฐ _- ํ๋ก ๋ถ์ฐ ํ์ผ ์์คํ ์์ ํ์ด์ฌ ๋งตํผ์ ๋ฆฌ๋์ ์์ค ๊ตฌํ ์ค์ ํธ ( Build Mappe..) ==> 4๋ถ37์ด ๋ถ๋ถ
<div class="type-placeholder" s
bigdataHadoop๋ฐ์ดํฐ ์์ง๋์ด๋งpururun30660
ใป
0
228
1

