๋น ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๋ง์คํฐ; ์ฑ๊ณต์ ์ํ ๋๊ตฌ์ ๊ธฐ์
์ฌ๋ฌ๋ถ๋ค์ ๋น ๋ฐ์ดํฐ ํ๋ก์ธ์ฑ์ 4๋จ๊ณ์ ํด๋นํ๋ [๋ฐ์ดํฐ ์์ง โถ ๋ฐ์ดํฐ ์ ์ฅ โถ ๋ฐ์ดํฐ ๋ถ์ โถ ํํ] ์ ๋ํ ๋ด์ฉ์ ์ด๋ก 30% + ์ค์ต 70%์ผ๋ก ์ด๋ฃจ์ด์ง ์ฝ๋๋ฉ ๋ฐฉ์์ผ๋ก ๋ณด๋ค ์ฌ๋ฐ๊ณ ์ฒด๊ณ์ ์ผ๋ก ํ์ตํฉ๋๋ค ๐ง๐ปโ๐ซ
์๊ฐ์ 348๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ 4๊ฐ์

- ๋ฏธํด๊ฒฐ
๊ฐ์ pdf๋ ๋ฐ๋ก ์ ๊ณต์ํด์ฃผ์๋ ๊ฑด๊ฐ์?
์๋์ ๊ฐ์ ์์์ผ๋ก ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์ ๐์์ ์ ๋ค์ผ์๋ฉด ์ดํดํ๊ธฐ ์ด๋ ค์ด ๋ถ๋ถ์ด ์์ผ๋ฉด ์์ธํ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์.<p st
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket๊น๋์ฐ
ใป
2๋ฌ ์
0
37
1
- ๋ฏธํด๊ฒฐ
practice1 ์๋ต๊ฐ ๊ด๋ จ ์ง๋ฌธ
์ ์๋์ ์ฝ๋์ 100% ๋๊ฐ์ด ํ๊ณ 1_weather.py๋ฅผ ์คํํ๋๋ฐ ๋ง์, ๊ตฌ๋ฆ๋ง์๊ณผ ๊ฐ์ ๋ค์ ์๋น๋๋ค.. ๊ทธ๋ฅ ํํ์ด์ง์ ๋ํ html ์ฝ๋๋ง ๋์์ ํํ์ด์ง์ ์ง์ ๋ค์ด๊ฐ๋ณด๋ฉด ๋ค์๊ณผ ๊ฐ์
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์์ ๋ ์๊ธฐ ๊ฐ๋ฐ์
ใป
9๋ฌ ์
0
60
2
- ๋ฏธํด๊ฒฐ
crontab ๊ฒฐ๊ณผ๊ฐ market.log ์ ์ ์ฅ์ด ์๋ผ์ใ
crontab ๊ฒฐ๊ณผ๊ฐ market.log ์ ์ ์ฅ์ด ์๋ผ์ใ crontab ๋ด์ฉ ์คํ ์๋์ง๋ ๊ณ์ ํ์ธํ๊ณ , ํ์ผ ์คํ๋ ์ง์ ํ์ ๋๋ ํ์จ ์ ๋์์. ๋ก๊ทธ ํ์ผ๋ ์๋ ์์ฑ์ด ๋๋๋ฐcat market.log ํ๋ฉด ์๋ฌด๊ฒ๋ ๋จ์ง ์๋ค์ใ
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์ด์ธ๋ น
ใป
0
112
1
- ๋ฏธํด๊ฒฐ
์ฝ๋ฉ ํ๋ก๊ทธ๋จ
์์ ์์ ์ฌ์ฉํ๊ณ ๊ณ์๋ ์ฝ๋ฉ ํ๋ก๊ทธ๋จ์ด ๋ฌด์์ธ๊ฐ์?philip@philpํด์ ํ๋ฉด์ด ๋์ค๋๋ฐ, ์ด๊ฑด ์ด๋ค๊ฑธ ์ฌ์ฉํด์ ํด์ผํ๋ ๊ฑธ๊น์?์ฃผํผํฐ ๋ ธํธ๋ถ ์๊ธฐํด ์ฃผ์ ์ ๊ทธ๊ฑธ๋ก ํ๊ณ ์๋๋ฐ, ์์ ์๋๋ ๊ฒ๋ค์ด ๋ง์
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์ธ์น
ใป
0
113
1
- ๋ฏธํด๊ฒฐ
์์ 2 ์ค์ต practice 1 ์ง๋ฌธ๋๋ฆฝ๋๋ค.
์๋์ ๊ฐ์ ์์์ผ๋ก ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์ ๐๊ต์๋์ด ์์ฑํด์ฃผ์ ์ฝ๋์ ๋์ผํ๊ฒ ์์ฑํ์๋๋ฐ ์คํ์ด url๋งํฌ๋ง ๋์ต๋๋ค ์๊ทธ๋ด๊น์ ใ ใ <img src="https://cdn.i
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์ธ์น
ใป
0
122
1
- ๋ฏธํด๊ฒฐ
์์ 2 ์ค์ต Carwling์ practice 1 ๋ถ๋ถ ์ง๋ฌธ๋๋ฆฝ๋๋ค.
์๋์ ๊ฐ์ ์์์ผ๋ก ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์ ๐์์ ์ ๋ค์ผ์๋ฉด ์ดํดํ๊ธฐ ์ด๋ ค์ด ๋ถ๋ถ์ด ์์ผ๋ฉด ์์ธํ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์.์๋ก Tone and Manner ๋ฅผ ์งํค๋ฉฐ, ์ฆ๊ฑฐ์ด ์์ ์๊ฐ
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์์ฑ์ ์์
ใป
1
107
1
- ๋ฏธํด๊ฒฐ
yahoo finacne ๋ฐ์ดํฐ ๋ค์ด๋ก๋ ์๋ฉ๋๋ค.
yahoo finance data ๋ "Gold subscrip
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketyayayaya
ใป
0
348
1
- ํด๊ฒฐ
์น์ 2 ๊ฐ์ํ๊ฒฝ ์ค์น ์ค๋ฅ
์๋ ํ์ธ์. ์น์ 2 ์ค์ต ์งํ ์ค ๊ฐ์ํ๊ฒฝ ์ค์น ๋ถ๋ถ๋ถํฐ ๋งํ๊ณ ์์ด ๋ฌธ์๋๋ฆฝ๋๋คใ ใ ๋ค๋ฅธ ์ง๋ฌธ๋ค ์ฐพ์๋ณด๊ณ virtualbox ์ฐ๋ถํฌ ํ๊ฒฝ์์ ์งํ ์ค์ ๋๋ค. python3 ์ค์น ๋ฐฉ๋ฒ, pip ์ค์น ๋ฐฉ๋ฒ์ ๋ฐ๋ก ์๋ดํด์ฃผ์์ง ์์์
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์ด์ธ๋ น
ใป
0
152
1
- ๋ฏธํด๊ฒฐ
์๊ฐ๊ธฐ๊ฐ์ฐ์ฅ๊ฐ๋ฅํ ๊น์?
์๊ฐ๋ณด๋ค ์ง๋๋ฅผ ๋ชป๋๊ฐ์ ํน์ ์ฐ์ฅ์ด ๊ฐ๋ฅํ๊ฐ์?
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์ด์์
ใป
0
191
1
- ๋ฏธํด๊ฒฐ
Chrome ๋์ Chromium์ ์ฌ์ฉํด๋ ๋ฌธ์ ๊ฐ ์์๊น์??
์๋ ํ์ธ์ ์น์ 2 ์ค์ต ํํธ์์ Selenium์ ํ๋ ค๋ ๋์ค ๋ฌธ์ ๊ฐ ์๊ฒจ ์ง๋ฌธ์ ๋๋ฆฌ๊ฒ ๋์ต๋๋คํ์ฌ ๋งฅ๋ถ m3์ ์ฌ์ฉํ๊ณ ์๊ณ UTM์ ํตํด Ubuntu๋ฅผ ์ค์นํ์ต๋๋ค. Chrome์ ์ค์นํ๋ ค๊ณ ํ๋๋ "<span style="color: rgb(12
์์์ ์น์ฌ
ใป
0
170
1
- ๋ฏธํด๊ฒฐ
์๊ฐ ๊ธฐํ ์ฐ์ฅ์ด ๊ฐ๋ฅํ ๊น์?
์๋ ํ์ธ์ ๊ฐ์ฌ๋์ด๋์ ์๊ฐ๊ธฐํ์ด ์ผ๋ง ๋จ์ง ์์์..ํน์ ์ฐ์ฅํ ์ ์๋ ๋ฐฉ๋ฒ์ด ์๋์ง ๋ฌธ์๋๋ฆฝ๋๋ค.์ข์ ๊ฐ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค!
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketrakji
ใป
0
241
1
- ๋ฏธํด๊ฒฐ
๊ฐ์ ์ฐ์ฅ ๋ฌธ์
์๋ ํ์ธ์, ์๊ฐ ๊ธฐํ์ด ์ผ๋ง ์ ๋จ์๋๋ฐ, ๊ธฐ๊ฐ ์ฐ์ฅ์ด ๊ฐ๋ฅํ ๊น์?๋ฏธ๋ฆฌ ๊ฐ์ฌ๋๋ฆฝ๋๋ค
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket๊นํํธ
ใป
0
173
1
- ํด๊ฒฐ
wb.json , pandas.json ํ์ผ์ jupyter notebook ํ๊ฒฝ์์ read ๊ฐ ์๋ฉ๋๋ค..ใ
ํ์ฌ AWS Glue 4.0 docker ์ด๋ฏธ์ง๋ฅผ ๋ด๋ ค ๋ฐ์ pyspark ์ปค๋์์ ์ฌ์ฉ ์ค์ด๋ฉฐ ์น์ 8 ํ๋ค์ค ํ๊ฒฝ์์ airbnb..csv, analyzed_americsv_2023.csv ํ์ผ์ ๋ฌธ์ ์์ด ์ ์ด๋ฆฌ๋๋ฐ Jso
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketํํ๊ฒฝ
ใป
0
509
3
- ํด๊ฒฐ
[HDFS] Data integrity; checksum ๊ด๋ จ ์ง๋ฌธ
์๋ ํ์ธ์. ํ์ฌ ๋น ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๋ง์คํฐ; ์ฑ๊ณต์ ์ํ ๋๊ตฌ์ ๊ธฐ์ ์์ ์ ์๊ฐ ์ค์ธ ํ์์ ๋๋ค. HDFS์ Data integrity ๋ถ๋ถ์ ๊ฐ์๋ฅผ ๋ฃ๋ค ๊ถ๊ธํ ์ ์ด ์๊ฒจ์ ์ง๋ฌธ ์ฌ๋ฆฝ๋๋ค.checks
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketJiyu Kim
ใป
1
335
2
- ํด๊ฒฐ
์๋ ํ์ธ์. ๊ฐ์ ์ฐ์ฅ ์ ์ฒญ ๋ฌธ์๋๋ฆฝ๋๋ค
์๋ ํ์ธ์ ๊ต์๋ํ์ฌ spark advanced ๊น์ง ์ง๋ ๋๊ฐ์ผ๋ ์์ฝ๊ฒ๋ ์๊ฐ๊ธฐํ์ด ๊ฑฐ์ ๋๋์๋๋จธ์ง ๊ฐ์ ์๊ฐ์ ์ํด ๊ตฌ๊ธํผ์ผ๋ก ์ฐ์ฅ ์ ์ฒญํ์ต๋๋ค๊ฐ์ ์ฐ์ฅ ๊ฐ๋ฅํ ๊น์?
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket๋ฐ๋์ฐฌ
ใป
0
384
2
- ํด๊ฒฐ
jar input output_notice ๋ฌธ์
๊ฐ์ฌ๋.. ์ค์ค๋ก ๋ฌธ์ ํด๊ฒฐํด๊ฐ๋ฉฐ ์ฌ๊ธฐ๊น์ง ์๋๋ฐ.. ์ฌ๊ธฐ๋ ํด๊ฒฐ์ด ์๋ ๋ฌธ์ ๋๋ฆฝ๋๋ค..ใ 6:24์ด ์์ ์ฒ๋ผ output_notice ๋๋ ํ ๋ฆฌ์ [์ค์ต2]์์ ํ๋ input ํ์ผ์ ๋งต ๋ฆฌ๋์ค๊ฐ ๋์ด์ผ ํ๋๋ฐ
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucket์์ฑ์ ์์
ใป
0
339
3
- ํด๊ฒฐ
์๋ ํ์ธ์ ๊ฐ์ ์ฐ์ฅ๋ฌธ์
์๋ ํ์ธ์ ๊ฐ์๊ฐ ๋ฌด์ ํ์ธ์ค ์๊ณ ๊ตฌ๋งคํ์ด์..์๊ณ ๋ณด๋ ๊ฐ์๊ฐ 3๊ฐ์์ด์ฌ์ ์ธํ๋ฐ์ ํ๋ถ ์์ฒญํ๋๋ ์๋๋ค๊ณ , ๊ฐ์ฌ๋๊ป 3๊ฐ์ ์ฐ์ฅ๋ถํํด๋ณด๋ผ๊ณ ํ๋ค์..ํน์ 3๊ฐ์ ์ฐ์ฅ ๊ฐ๋ฅํ ๊น์?
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketssuperj
ใป
0
311
2
- ํด๊ฒฐ
aws ubuntu 22.04 ํฌ๋กฌ ๋๋ผ์ด๋ธ ์ค์น ๋ฐ ๊ฒฝ๋ก ํ์ธ
wget ์ค์น ํ wget ์ผ๋ก 2023_BIGDATA ๋๋ ํ ๋ฆฌ์ ํฌ๋กฌ.deb ํ์ผ ๋ด๋ ค ๋ฐ๊ณ dpkg -i ๋ช ๋ น์ด๋ก ์ค์น ํ์ฌ google-chrome --version ์ด ๋์์ต๋๋ค <a targe
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketํํ๊ฒฝ
ใป
0
1,177
2
- ํด๊ฒฐ
์น์ 2 ์ค์ต1 ์ฝ๋ ๊ณต์ ๋ฌธ์..
์๋ ํ์ธ์ ๊ฐ์ฌ๋.. ์ค์ต 1๋ฒ์ ํ์ฌ ์ ๋ก์๋ ํด์์ด ๋ถ๊ฐ๋ฅํ์ฌํด์์ ๋์ค์ ํ๊ธฐ๋ก ํ๊ณ ์ผ๋จ ์ณ๋ณด๊ธฐ๋ง ์ด์ฌํ ์ณ๋ดค๋๋ฐ ์ญ์๋ ์๋๋ค์..์ฝ๋ ๊ณต์ ์ข ๋ถํ ๋๋ฆด ์ ์์๊น์..&n
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketํํ๊ฒฝ
ใป
0
409
3
- ํด๊ฒฐ
Beautiful Soup ์ค์ต ์ถ๋ ฅ ๋ฌธ์
์ผ๋จ ๋ฐ๋ผ ์ณ๋ดค๋๋ฐ์๋์ ๊ฒฐ๊ณผ ์ฒ๋ผ ๋์ค๋๊ฒ ๋ง์๊น์? html ๋ณ์์ ์ด ์๋๋ฐ ํน์ ์์ ์ ์์ด๋ ๋์ ๋๋์? from bs4 import Be
๋น ๋ฐ์ดํฐhadoopelasticsearchlogstashKibanaapache-sparks3-bucketํํ๊ฒฝ
ใป
0
165
1






