Kafka & Spark ใๆดป็จใใใชใขใซใฟใคใ ใใผใฟใฌใคใฏ
ๅๅฟ่ ใฎใใใฎ Kafka & Spark ใชใขใซใฟใคใ ใใคใใฉใคใณๅ ฅ้่ฌๅบงใ ใณใขใณใณใปใใใใใขใผใญใใฏใใฃใพใงใในใฟใผใใใใใฎใชใผใซใคใณใฏใณ่ฌๅบงใงใใ
ๅ่ฌ็ 291ๅ
้ฃๆๅบฆ ๅ็ด
ๅ่ฌๆ้ ็กๅถ้
- ๆช่งฃๆฑบ
์น์ 4 AWS NAT Instance์์ฑํ๋ ๊ณผ์ ์์ ์ค๋ฅ๊ฐ ์ง์ํด์ ๋ฐ์ํฉ๋๋ค.
windows ํ๊ฒฝ ์ฌ์ฉ์ค์ธ ๊ต์ก์์ ๋๋ค.cmd์์ssh -i public-nat-key.pem ec2-
kafkaapache-sparkpysparkdata-laketoysw12062998
ใป
1ๆฅๅ
0
8
0
- ๆช่งฃๆฑบ
ํ์ด์ฐธ 25.3.4 ๋ฒ์ ์์ ํํด๋์ ๋๊ฐ ํ๋ก์ ํธ ์์ฑํ๋ ๋ฐฉ๋ฒ์?
39๊ฐ consumer ๋ฐฐํฌํ๊ฒฝ ๊ตฌ์ถ ๊ฐ์์์ ํ์ด์ฐธ 25.3.4 ๋ฒ์ ์์ ํ๋ก์ ํธ ์์ฑ์ name ํญ๋ชฉ์ด ์์ต๋๋ค.<p style="text-align
kafkaapache-sparkpysparkdata-lakecontaion3553
ใป
1ใถๆๅ
0
31
2
- ๆช่งฃๆฑบ
consumer๊ฐ ๋ชจ๋ ํํฐ์ ์ ์ฝ์ง ์๋ ์ด์๊ฐ ์์ต๋๋ค
<img src="https://cdn.inflearn.com/public/files/posts/99fb6d49-42f3-48fa-aad9-019430042975/2e67bf04-e3d2-454b-9e70-42239204aa3b.png" media-type="img"
kafkaapache-sparkpysparkdata-lakemdok36090528
ใป
2ใถๆๅ
0
79
3
- ๆช่งฃๆฑบ
๋๋ค ์ํคํ ์ฒ์์ speed layer ๊ด๋ จ ์ง๋ฌธ๋๋ฆฝ๋๋ค
์๋ ํ์ธ์~๋๋ค ์ํคํ ์ฒ์์ speed layer ๋ถ๋ถ์ ๊ถ๊ธํ ์ ์ด ์๊ฒจ ์ง๋ฌธ๋๋ฆฝ๋๋ค! <p style="text-align: le
kafkaapache-sparkpysparkdata-lakemdok36090528
ใป
2ใถๆๅ
0
54
1
- ๆช่งฃๆฑบ
์ํคํ ์ฒ ๊ด๋ จ ์ง๋ฌธ
์ํคํ ์ฒ ์ค๊ณ ๋ถ๋ถ์์ ๊ถ๊ธํ ์ ์ด ์์ด ์ง๋ฌธ๋๋ฆฝ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก์์ฒ
kafkaapache-sparkpysparkdata-lakenayoyoun1249
ใป
3ใถๆๅ
0
68
1
- ๆช่งฃๆฑบ
code deploy ๋ฐฐํฌ์๋ฌ
์๋ ํ์ธ์ code deploy ๋ฐฐํฌ์์ ์๋ฌ๊ฐ ๋ฐ์ํ์ฌ ๋ฌธ์ ์ฌ๋ฆฌ๊ฒ ๋์์ต๋๋ค. s3 bucket ๊น์ง tar.gz ํ์ผ ์ ์ ๋ก๋ ๋์์ต
kafkaapache-sparkpysparkdata-lakekgeonhoe0622
ใป
4ใถๆๅ
0
74
4
- ๆช่งฃๆฑบ
/homework/ch10_3/dataframe_cache.py ๊ณผ์ ์ง๋ฌธ
์๋ ํ์ธ์.๊ณผ์ ๋์ค ์ง๋ฌธ์ด ์์ด ์ง๋ฌธ ๋จ๊น๋๋ค.์ฐ์ ์๋์ ์ ๊ฐ ์์ฑํ ์ฝ๋ ๋จ๊ธฐ๊ฒ ์ต๋๋ค!from pyspark.sql imp
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐchris35650061
ใป
4ใถๆๅ
0
70
2
- ๆช่งฃๆฑบ
ch4_3 apache zookeeper ์ค์นํ์ผ ๊ด๋ จ ์ง๋ฌธ
ec2-user$ curl -O https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz<p
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐchris35650061
ใป
5ใถๆๅ
0
84
3
- ่งฃๆฑบ
์ง๋ฌธ์์ต๋๋ค ์น์ 13. Spark streaming ๋ถ๋ถ
<img src="https://cdn.inflearn.com/public/files/posts/89bfc6ff-86f5-4b10-8832-214998d75b6f/0369a2a3-7750-4458-b69f-a6d904f81720.png" media-type="img"
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐskskfl57868915
ใป
5ใถๆๅ
0
66
2
- ๆช่งฃๆฑบ
ot ์๋ฃ
๋ค๋ฅธ pdf๋ ์๋๋ฐ ot ์๋ฃ๋ pdf๊ฐ ์์ฌ๋ผ์ ์๋ค์ฉ
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐbb1ang0709
ใป
5ใถๆๅ
0
66
2
- ๆช่งฃๆฑบ
git action - code deploy๋จ๊ณ
github์๋ actionsํญ์ ์ ์์ ์ผ๋ก ์ํฌํ๋ก์ฐ๊ฐ ๋ฐ ๋ฉ๋๋ค. <img src="https://cdn.inflearn.com/public/files/posts/695244ba-656e-4dd3-935e-4
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐnayun1945
ใป
7ใถๆๅ
0
96
2
- ๆช่งฃๆฑบ
IDE - Pycharm / VSCode
์๋ ํ์ธ์ ๊ฐ์ฌ๋! Airflow ๊ฐ์์ ์ด์ด Kafka & Spark ๊ฐ์๋ ์ด์ฌํ ๋ฃ๊ณ ์๋ ์๊ฐ์์ ๋๋ค.
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐherry1021
ใป
7ใถๆๅ
0
89
1
- ๆช่งฃๆฑบ
UI For Apache Kafka ์ค์นํ๊ธฐ
<img src="https://cdn.inflearn.com/public/files/posts/3c5b49ad-0cdd-4377-8f70-9859176ae602/df0171cd-6c0c-406a-934e-50db3d411ac2.png" media-type="img"
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐskskfl57868915
ใป
7ใถๆๅ
0
127
2
- ๆช่งฃๆฑบ
kafka broker prompt ๋ณ๊ฒฝ ํ์ธ
kafka borker prompt ๋ณ๊ฒฝ ํ์ธ ํ๋ ๋ถ๋ถ์์ ์ฌ๋ถํ ์ ํ ํ ๋ก๊ทธ์ธ์ด ํ๋ฆฌ๋ฉด์ ํ๋กฌํฌํธ์์ public-nat๋ก ๋๋์ ๊ฐ๋๋ค. ๋ญ๊ฐ ๋ฌธ์ ์ธ์ง ์ ์ ์์ ๊น์?
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐnayun1945
ใป
7ใถๆๅ
0
77
2
- ่งฃๆฑบ
๋์ค์ฝ๋ ๋ง๋ฃ
๋์ค์ฝ๋๊ฐ ๋ง๋ฃ๋์๋๋ฐ ๋งํฌ์ข ์ฃผ์ธ์ ์๊ฐํ์ด์ง๋ ์๋๊ณ ์ง๋ฌธํ์ด์ง๋ ์๋ฉ๋๋ค
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐskskfl57868915
ใป
7ใถๆๅ
0
68
2
- ๆช่งฃๆฑบ
Zookeeper ์ค์น ์ค๋ฅ
8์๋ง 9์์ด์ ๋น์ทํ ์ง๋ฌธ๋ณด๊ณ ํด๊ฒฐํ๋ คํ๋๋ฐ 3.8.4๊ฐ url์์ ์์ด์ง๊ฑฐ ๊ฐ์๋ฐ ์ด๋ป๊ฒ ํด์ผํ๋์?<img src="https:
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐskskfl57868915
ใป
7ใถๆๅ
1
82
3
- ๆช่งฃๆฑบ
github ๋ ํ์งํ ๋ฆฌ ์์ฑ ๋ฐ ์ฐ๊ฒฐ ๊ด๋ จ ์ง๋ฌธ๋๋ฆฝ๋๋ค!
์๋ ํ์ธ์ ๊ฐ์ฌ๋ ์์ง ๋ชจ๋ฅด๋๊ฒ ํฌ์ฑ์ด์ธ ์๊ฐ์์ ๋๋ค. ๊ฐ์ฌ๋๊ป์๋ ๊นํ๋ธ ์ ์ฅ์๋ฅผ ์์ฑํ ๋ค ํ ํฐ์ ๋ฐ๊ธ๋ฐ์ผ์๋๋ฐ ๊ตฌ๊ธ๋ง์ ํด๋ณด๋ ํ ํฐ์ ์ฌ์ฉํ๋ฉด ๋ณด์๊ณผ
kafkaapache-sparkpysparkdata-lakemingyu21570616
ใป
7ใถๆๅ
0
55
2
- ๆช่งฃๆฑบ
git action์คํ ์๋จ
์๋ ํ์ธ์ ๊ฐ์ฌ๋!ch03.8 git action ์คํ ๊ฐ์ ์๊ฐ ์ค ์ ๋๋ค.๊ฐ์์์ ๋์จ๋๋ก ๋๋ ํ ๋ฆฌ
kafkaapache-sparkpysparkdata-lake์นด์นด์ค๊ณต์ฑ-๊ฐ๋ฐnayun1945
ใป
7ใถๆๅ
0
163
1
- ๆช่งฃๆฑบ
ํฐ๋ฏธ๋์์ NAT ์ธ์คํด์ค๋ก ์ง์ ๋ก๊ทธ์ธ ์๋จ
16๊ฐ ansible ์ค์น๋ฅผ ์ํด ํฐ๋ฏธ๋์์ NAT ์ธ์คํด์ค๋ก ์ง์ ๋ก๊ทธ์ธํ๋ ค๊ณ ํ๋๋ฐ ์ค๋ฅ๊ฐ๋ฉ๋๋ค. PS C:\Users\nayun\do
kafkaapache-sparkpysparkdata-lakenayun1945
ใป
7ใถๆๅ
0
65
1
- ่งฃๆฑบ
AWS EC2 ์์ฑํ๊ธฐ 2๋ถ55์ด ๋ถ๋ถ
<img src="https://cdn.inflearn.com/public/files/posts/eb4b5bc7-0b45-4c8b-9687-2b4f5c12cc4b/94af24ce-5a2a-4a23-823e-bc82773c3091.png" media-type="img"
kafkaapache-sparkpysparkdata-lakeskskfl57868915
ใป
7ใถๆๅ
0
58
2

