์๋ ํ์ธ์ J.PHIL ์ ๋๋ค ๐ง๐ป๐
์ฒซ๋ฒ์งธ ๊ฐ์๋ก [ ๋น
๋ฐ์ดํฐ ์์คํ
๊ตฌ์ถ ๋ฐ ๋ถ์์ ๊ด์ฌ์๋ ์
๋ฌธ์ ] ๋ฅผ ์ํด
"Mastering Big Data Processing: Tools and Techniques for Success" ๊ฐ์๋ฅผ ์คํ ํ์์ต๋๋ค.
'์์ ๋ฐ ํ๋กํ' ์์ธํ ์ฌํญ๋ค์ ์์ ์์ธ ํ์ด์ง์ ์ ์์ฑํ์ผ๋ ์ฐธ๊ณ ๋ถํ๋๋ฆฝ๋๋ค ๐๐ป
Courses
Reviews
- Big Data Pipeline Master; Tools and Techniques for Success
- Big Data Cluster Build Package; Roadmap to Success
- Big Data Cluster Build Package; Roadmap to Success
- Big Data Cluster Build Package; Roadmap to Success
- Big Data Cluster Build Package; Roadmap to Success
Posts
Q&A
wb.json , pandas.json ํ์ผ์ jupyter notebook ํ๊ฒฝ์์ read ๊ฐ ์๋ฉ๋๋ค..ใ
๋ค ํ์ผ ์์ ๋ฐ๋ก ์์ ํ์ง ์์ผ์ จ์ผ๋ฉด ํฐ ๋ฌธ์ ์์ด ๋์๊ฐ๊ฒ๋๋ค.pyspark๋ฅผ docker๋ก ์คํํ์ จ๋ค๊ณ ํ๋๋ฐ ๋์ปค์์ ๋ก์ปฌ ํ์ผ์ ์ฝ์ผ๋ ค๋ฉด ๋ฐ๋ก mount๊ฐ ํ์ํฉ๋๋ค. ์๋๋ฉด ์ ์ธํํ์ผ๋ค์ ์คํํ์ ๋์ปค ์ปจํ ์ด๋์์ ๋ณต์ฌํ์ ๋ค์ ๋ค์ ์ปจํ ์ด๋๋ด ๊ฒฝ๋ก๋ฅผ ์ ํํ ์ค์ ํ์ ์ ์งํํ์๋ฉด ํ๋ฆด ๊ฒ์ผ๋ก ๋ณด์ ๋๋ค.
- 0
- 3
- 426
Q&A
[HDFS] Data integrity; checksum ๊ด๋ จ ์ง๋ฌธ
์๋ ํ์ธ์ Kim Jiyu๋,์ ๊ฐ ๋ํ์ ์์ ์ ๋ ผ๋ฌธ ์ฝ์ผ๋ฉด์ ๋ฌธ๋ฉ ๊ถ๊ธํ๋ ์ฌํญ์ธ๋ฐ ๊ฐ์ ์ง๋ฌธ์ ์ฃผ์ จ๋ค์."If checksums are corrupted, how could it be resolved?"ํ๋ก ์์์์ ๋ฐ๋ฅด๋ฉด HDFS ์์ checksum์ด corrupt ๋ ํ๋ฅ ์ ๋งค์ฐ ํฌ๋ฐํ๋ฏ๋ก ๋ฐ๋ก ๋์ํ์ง ์๋๋ค๊ณ ๋์์์ผ๋ ์ฐธ๊ณ ํ์๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค.
- 1
- 2
- 302
Q&A
zookeeper security group ์๋ฌ
์๋ ํ์ธ์ fade๋,์ง๋๋ฒ์ ๋จ๊ฒจ์ฃผ์ ์ง๋ฌธ๊ณผ ๋น์ทํ ๊ฒ ๊ฐ์๋ฐ, ํ์ฌ ์์ ํ๊ฒฝ์ด ์ด๋ป๊ฒ ๋์๋์?ํ์ฌ ๋ง์คํฐ์์ ๊ฐ ์ฌ๋ ์ด๋ ๋ ธ๋๋ผ๋ฆฌ ssh slave01, slave02 ์ด๋ ๊ฒ ํ ๋ ๋น๋ฐ๋ฒํธ ์์ด ์ ์ ์์ด ๋๋์?zookeeper port setting์ด 2181๋ก ์ ์ค์ ๋์๋์? ๊ทธ๋ฆฌ๊ณ ๊ฐ master, slave01, slave02 2888:3888๋ก ์ค์ ์ด ์ ๋์๋์? ๋์๋ค๋ฉด ๊ฐ ๊ด๋ จ slave๋ค์๋ ์ ์ํด์ ์ ๋ณต์ฌ๋์ด์ ์ค์ ๋์๋์ง ํ์ธ๋ฐ๋๋๋ค
- 0
- 2
- 331
Q&A
jar input output_notice ๋ฌธ์
์ด์ํ๊ฒ ๋ฉ์ผ๋ก ์ ๊ฐ ํด๋น ์ง๋ฌธ์ ์๋ฆผ์ ๋ฐ์ง ๋ชปํ๋ค์ ๐์ญ์ ๋๊ฑธ๋ก ๋ด์ ์ ํด๊ฒฐ๋ ๋ฏ ํ๋ ํ์ดํ ์ ๋๋ค
- 0
- 3
- 306
Q&A
์๋ ํ์ธ์. ๊ฐ์ ์ฐ์ฅ ์ ์ฒญ ๋ฌธ์๋๋ฆฝ๋๋ค
๋ค ์ ๊ฐ ์ธ๋ถ ์ถ์ฅ์ค์ด๋ผ ์ฃผ๋ง์ ํ์ธํ๊ณ ํผ๋๋ฐฑ ๋๋ฆฌ๊ฒ ์ต๋๋ค ๐
- 0
- 2
- 347
Q&A
์๋ ํ์ธ์ ๊ฐ์ ์ฐ์ฅ๋ฌธ์
ํ๋ก๋ชจ์ ์ ์ฉํด๋๋ ธ์ต๋๋ค.์ฐธ๊ณ ๋ก ๊ฐ์ ๊ธฐ๋ณธ ์๊ฐ๊ธฐ๊ฐ์ 4๊ฐ์ ์ ๋๋ค
- 0
- 2
- 275
Q&A
์๋ ํ์ธ์ ๊ฐ์ ์ฐ์ฅ๋ฌธ์
์๋ ํ์ธ์ ssupperj๋,4์๋ง๊น์ง ์ฐ์ฅํ์์ผ๋ ๊ตฌ๊ธํผ์ ๋ฑ๋กํด์ฃผ์๋ฉด ์ถํ ์ฒ๋ฆฌํด๋๋ฆฌ๊ฒ ์ต๋๋ค :)
- 0
- 2
- 275
Q&A
ssh master02 ์ ๋ ฅ์ permission denied ์๋ฌ
์๋ ํ์ธ์ fade๋,permission denied ์ ๊ฒฝ์ฐ ๋ช๋ฒ troubleshooting์ ํด๋ด์ผ๊ฒ ์ง๋ง, ๋์ฒด์ ์ผ๋ก ๊ถํ์ด๋ ssh ํค๊ฐ ์ ๋๋ก ๋ณต์ฌ๋์ง ์์์๋ ์๊ธธ ์ ์๋ ๋ฌธ์ ๋ก ๋ณด์ ๋๋ค. ๊ถํ. ์ผ๋จ ssh localhost ํ ๋๋ ๋น๋ฐ๋ฒํธ ์์ด ์ ์ ์์ด ๋๋์? ์ฌ๊ธฐ์๋ถํฐ ์ ๋์ง ์์ผ๋ฉด ์ฒ์ ํค๋ณต์ฌ๋ถํฐ ๋ค์ ํด๋ณด๋๊ฒ ์ข์ ๊ฒ ๊ฐ์ต๋๋ค. ๋๋ key ํ์ผ์ด ๋๋ฌด ์คํ๋์ด์์ผ๋ฉด ๊ทธ๋ด ์ ์์ผ๋ ์ฒ์ ๋ ธ๋์์ ํคํ์ผ์ ์๋์ ๊ฐ์ด ๊ถํ ์ฒ๋ฆฌํด์ฃผ๊ณ ๋ค์ AMI ๋ณต์ฌํด์ ํ๋ฒ ํด๋ณด์๊ฒ ์ด์?chmod 600 ~/.ssh/id_rsachmod 600 ~/.ssh/id_rsa.pub ๋ง์ฝ ์ด ๋ฐฉ๋ฒ๋ ์ ํด๊ฒฐ๋์ง ์๋๋ค๋ฉด ์ฒ์ base node์์ ๋ค์ ssh-keygen ๋ถํฐ ์์ํ์ ์ ๋ค์ ์งํํด์ฃผ์๊ธฐ ๋ฐ๋๋๋ค. pub ํค ๋ณต์ฌํ ๋ ๊ผฌ์ด๋ฉด ๊ฐํน ์ด๋ฐ ๋ฌธ์ ์๊ธธ๋๊ฐ ์์ด์์ ๐ (์ด ์ฑํฐ์์ 11:50 ๋ถํฐ ํ์ธํด์ฃผ์๋ฉด ๋ฉ๋๋ค)https://www.inflearn.com/course/lecture?courseSlug=%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0-%EA%B5%AC%EC%B6%95-%ED%8C%A8%ED%82%A4%EC%A7%80&unitId=189046&tab=curriculum
- 0
- 2
- 300
Q&A
vim etc/hosts ์ง๋ฌธ
์๋ ํ์ธ์ fade๋, ์๋๊ฒฝ๋ก๊ฐ ์๋, ์ ๋๊ฒฝ๋ก /etc/hosts ์ฆsudo vim /etc/hosts ๋ก ์ ๊ทผํด๋ณด์๊ฒ ์ด์?
- 0
- 2
- 357
Q&A
venv ํ๊ฒฝ ํจํค์ง ์ค์น ๋ฐฉ๋ฒ ๋ฌธ์
์๋ ํ์ธ์ ํํ๊ฒฝ๋, pip3 install requests ๋ก ์ค์นํ์๋ฉด ๋๋๋ฐ, ์ด๋ฏธ ๋์ด์๋ค๊ณ ๋ณด์ฌ์์. venv ํจ ์ํ์์ python3 ๋ผ๊ณ ์ ๋ ฅํ์๊ณ interactive shell ์์ import requests ์ ๋ ฅํด๋ณด์๊ฒ ์ด์? ํน๋ณํ ์ด์์์ด ๋ค์ ๋ผ์ธ์ผ๋ก ๋์ด๊ฐ๋ฉด ๋ฌธ์ ์์ด ์ ๋์ํ๊ณ ์๋ ๊ฒ๋๋ค
- 0
- 2
- 1.3K