[๋ฐ๋ธ์์] ์ํ์น ์นดํ์นด for beginners
์ํ์น ์นดํ์นด๋ ๋ฌด์์ผ๊น? ์ํ์น ์นดํ์นด๋ ์ด๋ป๊ฒ ๋์ํ ๊น? ์ํ์น ์นดํ์นด์ ๊ฐ๋ ์ ๋ฌด์์ด ์์๊น? ๊ถ๊ธํ์๋ค๋ฉด ์ด ๊ฐ์๋ฅผ ์ ํํ์ธ์๐
์๊ฐ์ 10,397๋ช
๋์ด๋ ์ด๊ธ
์๊ฐ๊ธฐํ ๋ฌด์ ํ
- ๋ฏธํด๊ฒฐ
MSA ํ๊ฒฝ์์์ ์นดํ์นด ๊ณตํต ์ค์ ๊ด๋ฆฌ
์๋ ํ์ธ์. ํ์ฌ ์นดํ์นด ๋์ ์ ๊ณ ๋ คํ๊ณ ์๋๋ฐ, ๋ฐ๋ธ์์๋์ ๊ฐ์๋ก ๊ณต๋ถ๋ฅผ ์์ํ๊ณ ์์ต๋๋ค. ๊ฐ์๊ฐ ์ ๋ง ๋ง์ ๋์์ด ๋ฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค. ์๊ฐ ์ค MSA ํ
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งkuma38837
ใป
8๋ฌ ์
0
94
1
- ๋ฏธํด๊ฒฐ
์๋ ํ์ธ์. kafka ์คํ์ค์ ๋ค์๊ณผ๊ฐ์ connection refused๊ฐ ๋๋๋ ์๊ทธ๋ฐ๊ฑธ๊น์??
์๋ ํ์ธ์. kafka ์คํ์ค์ ๋ค์๊ณผ๊ฐ์ connection refused๊ฐ ๋๋๋ ์๊ทธ๋ฐ๊ฑธ๊น์?? security group์์ ํฌํธ ์คํ๋ ํ์์ต๋๋ค. INFO Socket error occurred: kafka_03/54
kafka๋ฐ์ดํฐ-์์ง๋์ด๋งํฉ์๋กฑ
ใป
0
673
1
- ๋ฏธํด๊ฒฐ
Hbase sink connector
์๋ ํ์ธ์๊ฐ์ ๋ค ์๋ค์์ต๋๋ค.์ฒ์ ๋ง๋ค์ด๋ณด๋์ค์ธ๋ฐ ์ต์ข ๋ชฉํ๋ PostgreSQL๊ณผ๊ฐ์ rdb์ ๋ฐ์ดํฐ๋ฅผCDC๋กApache atlas๋ก ํํํ๊ธฐ ์ํด Hbase๋ก ์ ๋ฌํ๊ณ ์ถ์๊ฒ ๋ชฉํ์ ๋๋ค Hbase sink connector๋ฅผ ๊ฒ์ํด๋ ์์๋์์ ๊ฐ๋ฅํ์ง์ json์ผ๋ก
kafka๋ฐ์ดํฐ-์์ง๋์ด๋ง์์ฑ์ ์์
ใป
0
318
1
- ๋ฏธํด๊ฒฐ
์ฌ๋ฌ ์ฐฝ ํค๊ณ ํ๋ฒ์ ๋ช ๋ น์ด ์คํ์ํค๋ ๋ถ๋ถ ์ด๋ป๊ฒ ํ๋์ง ์๋ ค์ฃผ์ค์์์๊น์?
- ํ์ต ๊ด๋ จ ์ง๋ฌธ์ ๋จ๊ฒจ์ฃผ์ธ์. ์์ธํ ์์ฑํ๋ฉด ๋ ์ข์
Kafka๋ฐ์ดํฐ ์์ง๋์ด๋ง์ด์นํ
ใป
1
530
1
- ๋ฏธํด๊ฒฐ
์นดํ์นด ํ๋ก๋์, ์ปจ์ํผ ์๋
์๋ ํ์ธ์! ์ฌ๊ธฐ์ ์ง๋ฌธ์ ์ฌ๋ ค๋ ๊ด์ฐฎ์์ง.. ใ -ใ ๊ถ๊ธํ๊ฒ ์์ต๋๋ค. ํ๋ก๋์์ชฝ์์ ๋ฐ์ดํฐ๋ฅผ ๋ฌด์ํ ๋ง์ด ๊ณ์ ๊ณ์ ์ดํ์์ด ๊ณ์ ํ ํฝ, ํํฐ์ ์ ๋ฃ์ด์ค๋ค๋ฉด ์ปจ์๋จธ์ ์ฅ์์๋ ์ข ๋ ๋๋ฆฌ
๋ฐ์ดํฐ ์์ง๋์ด๋งKafka์ด์
ใป
0
470
0
- ๋ฏธํด๊ฒฐ
์นดํ์นด ๋ณต๊ตฌ๋ฅผ ์ํ offset ๊ด๋ จํด์ ์ง๋ฌธ์ด ์์ต๋๋ค.
๋จผ์ ์ข์ ๊ฐ์ ๊ฐ์ฌ๋๋ฆฝ๋๋ค. ์นดํ์นด ๋์ ์ ์ํด์ ํ์ต์ค์ธ๋ฐ ์ฑ ๊ณผ ๋๋ถ์ด ๊ฐ์๊ฐ ํฐ ๋์์ด ๋๋ค์. ๊ฐ์๋ฅผ ๋ฃ๋ค๋ณด๋ ๊ถ๊ธํ ์ ํ๋๊ฐ ์๊ฒจ์ ๋ฌธ์๋ฅผ ๋จ๊น๋๋ค. Consumer์ ๊ฒฝ์ฐ ์ฐ๊ฒฐ์ด ๋์ด์ ธ๋
์นดํ์นดKafka๋ฐ์ดํฐ ์์ง๋์ด๋งseongkwon87
ใป
1
304
0
- ๋ฏธํด๊ฒฐ
์ฑ ์ ๊ตฌ๋งคํ๋๋ฐ ์ฑ ์์๋ zookeeper๋ก broker ํด๋ฌ์คํฐ๋ง ๋ด์ฉ์ด ์๋์ค๋๊ฑธ๊น์?
์ฌ๊ธฐ ๊ฐ์์์๋ broker๋ฅผ ์ฌ๋ฌ๊ฐ ๋ง๋ค์ด ํด๋ฌ์คํฐ๋ง ํ๋ ๋ด์ฉ์ด๋์ค๋๋ฐ. <p style="fo
๋ฐ์ดํฐ ์์ง๋์ด๋งKafkaQooo U
ใป
0
359
0
- ๋ฏธํด๊ฒฐ
์๋ ํ์ธ์ kafka ๋์์์ฒญ ๊ด๋ จ ๋ฌธ์ ๋๋ฆฝ๋๋ค.
์ ์์ ์ผ๋ก ์นดํ์นด๋ฅผ ๋์ ์ํค๋ ๊ฑฐ๊น์ง ์ฑ๊ณตํ๋๋ฐ ๋์์ 1000๊ฐ์ฉ ์์ฒญ ์ ํ๊ณ ์ถ์๋ฐ ๋ผ์ง์์ ๋ฌธ์ ๋๋ฆฝ๋๋ค. <pre style="background-color: #2b2b2b; color: #a9b7c6; font-family: 'D2Coding l
consumerkafkaKafka๋ฐ์ดํฐ ์์ง๋์ด๋ง๋จ์๋ก๋ง
ใป
0
388
0
- ๋ฏธํด๊ฒฐ
controller์ leader์ ์ฐจ์ด์
์๋ ํ์ธ์! kafka ์ค์น๊ฒฝ๋ก์ logs ํ์ผ๋ค์ ๋ณด๋ค๊ฐ ๊ถ๊ธํ ์ ์ด ์์ด์ ๋จ๊น๋๋ค. controller ๊ด๋ จ ๋ก๊ทธ๊ฐ ์๋๋ฐ์. ์ฐพ์๋ณด๋ broker๋ค์ค ํ๋๊ฐ controller๊ฐ ๋๋๊ฒ๊ฐ๋๋ผ๊ตฌ์. broker
kafkaKafka๋ฐ์ดํฐ ์์ง๋์ด๋งKyungmin Kang
ใป
0
257
0






