inflearn logo
inflearn logo

Airflowใƒžใ‚นใ‚ฟใƒผใ‚ฏใƒฉใ‚น

ใƒ‡ใƒผใ‚ฟใƒ‘ใ‚คใƒ—ใƒฉใ‚คใƒณใ‚’ๅŠน็އ็š„ใซไฝœๆˆใ—็ฎก็†ใ™ใ‚‹ใŸใ‚ใฎOrchestrationใƒ„ใƒผใƒซใงใ‚ใ‚‹Airflowใซใคใ„ใฆๅญฆใถ่ฌ›็พฉใงใ™ใ€‚ๅˆๅฟƒ่€…ใงใ‚‚้ †ใ‚’่ฟฝใฃใฆๅญฆในใ‚‹Airflowใƒžใ‚นใ‚ฟใƒผใ‚ฏใƒฉใ‚นใธใ‚ˆใ†ใ“ใ๏ผ

้›ฃๆ˜“ๅบฆ ๅˆ็ดš

ๅ—่ฌ›ๆœŸ้–“ ็„กๅˆถ้™

airflow
airflow
Data Engineering
Data Engineering
Python
Python
airflow
airflow
Data Engineering
Data Engineering
Python
Python
hyunjinkim๋‹˜์˜ ํ”„๋กœํ•„ ์ด๋ฏธ์ง€

Airflowใฎใ‚ขใƒƒใƒ—ใƒ‡ใƒผใƒˆๅฎŒไบ†๏ผˆ๏ฝž2.10.5๏ผ‰

ใ“ใ‚“ใซใกใฏ๏ผใ‚ญใƒ ใƒปใƒ’ใƒงใƒณใ‚ธใƒณใงใ™ใ€‚

Airflow master Class่ฌ›็พฉใฎใ‚ขใƒƒใƒ—ใƒ‡ใƒผใƒˆใŒๅฎŒไบ†ใ—ใพใ—ใŸใ€‚

่ฌ›็พฉใ‚’ๆ’ฎๅฝฑใ—ใŸๆ™‚ใ€ใƒใƒผใ‚ธใƒงใƒณใŒ2.5.1ใงใ—ใŸใŒใ€ใ„ใคใฎใพใซใ‹2.10.5ใพใงUpdateใซใชใ‚Šใพใ—ใŸใ€‚

ใใฎใŸใ‚ใ€ใƒใƒผใ‚ธใƒงใƒณ2.6ใ‹ใ‚‰ใƒใƒผใ‚ธใƒงใƒณ2.10ใพใงใฎไธป่ฆใชใ‚ขใƒƒใƒ—ใƒ‡ใƒผใƒˆใซใคใ„ใฆใพใจใ‚ใ‚‰ใ‚Œใ€ๅˆ่จˆ10ใฎ็ซ ใซ่ฟฝๅŠ ใ•ใ‚Œใพใ—ใŸใ€‚

ใพใจใ‚ใฆใฟใ‚‹ใจใ€DatasetๆฉŸ่ƒฝใ‚’่ฃœๅฎŒ/ๅผทๅŒ–ใ™ใ‚‹ใŸใ‚ใฎ่ค‡ๆ•ฐใฎUpdateใŒๅคšใใ€ใพใŸCloudๆ‹กๆ•ฃใซ่ถณใ‚’ๅˆใ‚ใ›ใฆ้–ข้€ฃใ™ใ‚‹Airflowใ‚‚ๆฉŸ่ƒฝ่ฃœๅฎŒใซใชใฃใฆใ„ใ‚‹ใ“ใจใ‚’ๆ„Ÿใ˜ใ‚‹ใ“ใจใŒใงใใพใ—ใŸใ€‚

ใ“ใฎใ‚ˆใ†ใชๅ†…ๅฎนใ‚’ๅฎŸ็ฟ’ใ‚’้€šใ˜ใฆ็Ÿฅใ‚‹ใ“ใจใŒใงใใ‚‹ใ‚ˆใ†ใซใ‚ปใ‚ฏใ‚ทใƒงใƒณ18ใซๅ†…ๅฎนใŒ่ฟฝๅŠ ใ•ใ‚Œใพใ—ใŸใ€‚

ๅˆใ‚ใ›ใฆใ€Kafka & Spark Streamingใƒ™ใƒผใ‚นใงใƒชใ‚ขใƒซใ‚ฟใ‚คใƒ ๅ‡ฆ็†ใซใคใ„ใฆใ‚ฏใƒฉใ‚ฆใƒ‰็’ฐๅขƒใงใฎไบ‹ๆฅญใƒ—ใƒญใ‚ธใ‚งใ‚ฏใƒˆใƒฌใƒ™ใƒซใฎๅฎŸ็ฟ’ใฎใŸใ‚ใซๆบ–ๅ‚™ใ•ใ‚ŒใŸ่ฌ›็พฉใ‚‚ๅ…ˆๆœˆใ‚ชใƒผใƒ—ใƒณใ—ใพใ—ใŸใ€‚ๅคšใใฎ้–ขๅฟƒใ‚’ใŠ้ก˜ใ„ใ—ใพใ™ใ€‚

ใฉใกใ‚‰ใฎ่ฌ›็พฉใ‚‚ใ€ไธป่ฆใชใ‚ขใƒƒใƒ—ใƒ‡ใƒผใƒˆใŒใ‚ใ‚‹ใŸใณใซ็ด ๆ—ฉใๅๆ˜ ใ—ใฆใŠ็Ÿฅใ‚‰ใ›ใ—ใพใ™^^

ใ‚ใ‚ŠใŒใจใ†ใ”ใ–ใ„ใพใ™ใ€‚

ใ‚ณใƒกใƒณใƒˆ
ใพใ ใ‚ณใƒกใƒณใƒˆใŒใ‚ใ‚Šใพใ›ใ‚“

๏ฟฅ18,015