์ฑ„๋„ํ†ก ์•„์ด์ฝ˜

HADOOP ECOSYSTEM : BIGDATA PROCESS ์‹ค์ „ ์ตœ์ ํ™”

์ด ๊ฐ•์˜๋Š” ๋ฐฉ๋Œ€ํ•œ ๋น…๋ฐ์ดํ„ฐ ํ™˜๊ฒฝ์—์„œ ์‹ค๋ฌด์ž๊ฐ€ ๊ฒช๋Š” ๊ธฐ์ˆ ์  ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ณ , ํ•˜๋‘ก ์—์ฝ”์‹œ์Šคํ…œ์„ ํ†ตํ•ด ์ฒด๊ณ„์ ์ธ ๋ฐ์ดํ„ฐ ๊ด€๋ฆฌ ์—ญ๋Ÿ‰์„ ๊ฐ–์ถ”๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜๊ฐ•์ƒ ์—ฌ๋Ÿฌ๋ถ„์€ ์ด๋ฒˆ ๊ณผ์ •์„ ํ†ตํ•ด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ํ•ต์‹ฌ ๊ฐ€์น˜๋ฅผ ์–ป์œผ์‹ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค: ์‹ค๋ฌด์  ๋ฌธ์ œ ํ•ด๊ฒฐ: ๋ฐ์ดํ„ฐ ๊ทœ๋ชจ ํ™•์žฅ์— ๋”ฐ๋ฅธ ๊ธฐ์กด ์‹œ์Šคํ…œ์˜ ํ•œ๊ณ„๋ฅผ ์ดํ•ดํ•˜๊ณ , ํ•˜๋‘ก์„ ํ†ตํ•œ ํšจ์œจ์ ์ธ ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ ๋ฐฉ์‹์„ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์•ˆ์ •์„ฑ ํ™•๋ณด: ํ•˜์ด๋ธŒ(Hive)์˜ ์™ธ๋ถ€ ํ…Œ์ด๋ธ” ์„ค๊ณ„๋ฅผ ํ†ตํ•ด, ์‹ค์ˆ˜๋กœ ํ…Œ์ด๋ธ”์ด ์‚ญ์ œ๋˜๋”๋ผ๋„ ์›๋ณธ ๋ฐ์ดํ„ฐ๋ฅผ ์•ˆ์ „ํ•˜๊ฒŒ ๋ณดํ˜ธํ•˜๋Š” ์‹ค๋ฌด ์ตœ์ ํ™” ๊ธฐ๋ฒ•์„ ์ฒด๋“ํ•ฉ๋‹ˆ๋‹ค. ๋ถ„์„ ํšจ์œจ ๊ทน๋Œ€ํ™”: ๋ณต์žกํ•œ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์—†์ด HiveQL์„ ํ™œ์šฉํ•˜์—ฌ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ๋ฅผ ์ž์œ ์ž์žฌ๋กœ ์ œ์–ดํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š” ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€์˜ ๊ธฐ์ˆ ์„ ์Šต๋“ํ•ฉ๋‹ˆ๋‹ค. ์ „๋ฌธ๊ฐ€ ๊ฐ€์ด๋“œ: ๋‹ค๋…„๊ฐ„์˜ IT ๊ต์œก ๊ฒฝํ—˜๊ณผ ๋…ธํ•˜์šฐ๋ฅผ ๋ณด์œ ํ•œ ์ง€์‹๊ณต์œ ์ž๊ฐ€ ํ˜„์žฅ์—์„œ ์ฆ‰์‹œ ํ™œ์šฉ ๊ฐ€๋Šฅํ•œ ์‹ค์ „ ๊ธฐ์ˆ ์„ ์ง์ ‘ ์ „์ˆ˜ํ•ฉ๋‹ˆ๋‹ค. ๋น…๋ฐ์ดํ„ฐ๋ผ๋Š” ๊ฑฐ๋Œ€ํ•œ ํ๋ฆ„ ์†์—์„œ ์—ฌ๋Ÿฌ๋ถ„์„ ์ฐจ๋ณ„ํ™”๋œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋กœ ๋งŒ๋“ค์–ด ์ค„ 30๊ฐ•์˜ ์—ฌ์ •์— ์ง€๊ธˆ ํ•ฉ๋ฅ˜ํ•˜์„ธ์š”.

4๋ช… ์ด ์ˆ˜๊ฐ•ํ•˜๊ณ  ์žˆ์–ด์š”.

๋‚œ์ด๋„ ์ค‘๊ธ‰์ด์ƒ

์ˆ˜๊ฐ•๊ธฐํ•œ ๋ฌด์ œํ•œ

ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ
ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ
๋ฐ์ดํ„ฐ์›จ์–ดํ•˜์šฐ์Šค
๋ฐ์ดํ„ฐ์›จ์–ดํ•˜์šฐ์Šค
๋น…๋ฐ์ดํ„ฐ์ธํ”„๋ผ
๋น…๋ฐ์ดํ„ฐ์ธํ”„๋ผ
์‹œํ—˜
์‹œํ—˜
์‹ค์Šต ์ค‘์‹ฌ
์‹ค์Šต ์ค‘์‹ฌ
ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ
ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ
๋ฐ์ดํ„ฐ์›จ์–ดํ•˜์šฐ์Šค
๋ฐ์ดํ„ฐ์›จ์–ดํ•˜์šฐ์Šค
๋น…๋ฐ์ดํ„ฐ์ธํ”„๋ผ
๋น…๋ฐ์ดํ„ฐ์ธํ”„๋ผ
์‹œํ—˜
์‹œํ—˜
์‹ค์Šต ์ค‘์‹ฌ
์‹ค์Šต ์ค‘์‹ฌ

์ˆ˜๊ฐ• ํ›„ ์ด๋Ÿฐ๊ฑธ ์–ป์„ ์ˆ˜ ์žˆ์–ด์š”

  • ์‹ค๋ฌด ์ค‘์‹ฌ์˜ ๋น…๋ฐ์ดํ„ฐ ์ธํ”„๋ผ ๊ตฌ์ถ• ๋ฐ ๊ด€๋ฆฌ ๋Šฅ๋ ฅ ํ™•๋ณด: ๋‹จ์ˆœํžˆ ์ด๋ก ์— ๊ทธ์น˜์ง€ ์•Š๊ณ  ํ•˜๋‘ก 1.0.4์™€ ํ•˜์ด๋ธŒ 0.9.0 ํ™˜๊ฒฝ์—์„œ ๋„ค์ž„๋…ธ๋“œ ํฌ๋งท, ๋ฐฉํ™”๋ฒฝ ์„ค์ •, ์„œ๋น„์Šค ๊ตฌ๋™ ๋“ฑ ์‹ค์ œ ํ˜„์žฅ์—์„œ ์ฆ‰์‹œ ํ™œ์šฉ ๊ฐ€๋Šฅํ•œ ์‹œ์Šคํ…œ ์šด์˜ ๊ธฐ์ˆ ์„ ์™„๋ฒฝํžˆ ์Šต๋“ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ฐ์ดํ„ฐ ์•ˆ์ •์„ฑ ๋ฐ ํšจ์œจ์ ์ธ ๋ถ„์„ ์„ค๊ณ„ ์—ญ๋Ÿ‰ ๊ฐ•ํ™”: ํ•˜์ด๋ธŒ์˜ ๋‚ด๋ถ€ ํ…Œ์ด๋ธ”๊ณผ ์™ธ๋ถ€ ํ…Œ์ด๋ธ”์˜ ์ฐจ์ด๋ฅผ ๋ช…ํ™•ํžˆ ์ดํ•ดํ•˜๊ณ , ํŠนํžˆ LOCATION ์˜ต์…˜์„ ํ™œ์šฉํ•ด ํ…Œ์ด๋ธ” ๊ตฌ์กฐ๊ฐ€ ์‚ญ์ œ๋˜๋”๋ผ๋„ ์›๋ณธ ๋ฐ์ดํ„ฐ๋ฅผ ์•ˆ์ „ํ•˜๊ฒŒ ๋ณด์กดํ•˜๋Š” ์‹ค๋ฌด ์ตœ์ ํ™” ์„ค๊ณ„ ๊ธฐ๋ฒ•์„ ๊ฐ–์ถ”๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

  • ๋ณต์žกํ•œ ์ฝ”๋”ฉ ์—†๋Š” ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ ์ œ์–ด ๊ธฐ์ˆ  ์Šต๋“: ์ž๋ฐ” ๊ธฐ๋ฐ˜์˜ ๋ณต์žกํ•œ ๋งต๋ฆฌ๋“€์Šค ํ”„๋กœ๊ทธ๋ž˜๋ฐ์„ ์ง์ ‘ ํ•˜์ง€ ์•Š๊ณ ๋„, ์ต์ˆ™ํ•œ SQL ๋ฐฉ์‹์ธ HiveQL์„ ์‚ฌ์šฉํ•˜์—ฌ ํ…Œ๋ผ๋ฐ”์ดํŠธ๊ธ‰ ์ด์ƒ์˜ ๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ๋ฅผ ์ž์œ ์ž์žฌ๋กœ ๋ถ„์„ํ•˜๊ณ  ๊ด€๋ฆฌํ•˜๋Š” ์ „๋ฌธ๊ฐ€ ์ˆ˜์ค€์˜ ์—ญ๋Ÿ‰์„ ํ‚ค์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ธํ”„๋ผ ๊ตฌ์ถ•: HDFS ๋„ค์ž„๋…ธ๋“œ ํฌ๋งท๋ถ€ํ„ฐ ๋ฐฉํ™”๋ฒฝ ์„ค์ •, ์„œ๋น„์Šค ๊ตฌ๋™๊นŒ์ง€์˜ ์ „ ๊ณผ์ •

  • ๋ฐ์ดํ„ฐ ์•ˆ์ •์„ฑ: ์™ธ๋ถ€ ํ…Œ์ด๋ธ” ์„ค๊ณ„๋ฅผ ํ†ตํ•œ ๋ฐ์ดํ„ฐ ์˜์†์„ฑ ํ™•๋ณด

  • ์‹ค๋ฌด ๋ถ„์„: HiveQL์„ ํ™œ์šฉํ•œ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๊ด€๋ฆฌ ๋ฐ ๊ตฌ์กฐ์  ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๊ธฐ์ˆ 

  • ๋น„์ฆˆ๋‹ˆ์Šค ๊ฐ€์น˜: ์—‘์…€์˜ ํ•œ๊ณ„๋ฅผ ๋„˜๋Š” ๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ํ”„๋กœ์„ธ์Šค ์™„์„ฑ

1. ๋ฌธ์ œ์ œ๊ธฐ: "๋ฐ์ดํ„ฐ๋Š” ๋„˜์ณ๋‚˜๋Š”๋ฐ, ์™œ ์šฐ๋ฆฌ๋Š” ์—ฌ์ „ํžˆ ํ™œ์šฉ์— ํ•œ๊ณ„๋ฅผ ๋А๋‚„๊นŒ์š”?"

๊ธฐ์—…์˜ ๋ฐ์ดํ„ฐ ๊ทœ๋ชจ๊ฐ€ ํ…Œ๋ผ๋ฐ”์ดํŠธ(TB)๋ฅผ ๋„˜์–ด ํŽ˜ํƒ€๋ฐ”์ดํŠธ(PB) ์‹œ๋Œ€๋กœ ์ ‘์–ด๋“ค๋ฉด์„œ, ๊ธฐ์กด์˜ ๊ด€๊ณ„ํ˜• ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค(RDBMS)๋งŒ์œผ๋กœ๋Š” ์ฒ˜๋ฆฌ ์†๋„์™€ ๋น„์šฉ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์—†๊ฒŒ ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ ์‹ค๋ฌด์ž๋“ค์€ "๋ฐ์ดํ„ฐ๋ฅผ ์–ด๋””์— ์–ด๋–ป๊ฒŒ ์Œ“์•„์•ผ ์•ˆ์ „ํ•œ์ง€", "๋ณต์žกํ•œ ์ฝ”๋”ฉ ์—†์ด SQL๋งŒ์œผ๋กœ ๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•  ์ˆ˜ ์—†๋Š”์ง€"์— ๋Œ€ํ•œ ํ˜„์‹ค์ ์ธ ์žฅ๋ฒฝ์— ๋ถ€๋”ชํžˆ๊ณค ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ์œ ์‹ค์— ๋Œ€ํ•œ ๋ถˆ์•ˆ๊ฐ๊ณผ ๊ด€๋ฆฌ ํšจ์œจ์„ฑ ์ €ํ•˜๋Š” ๋น…๋ฐ์ดํ„ฐ ํ”„๋กœ์ ํŠธ์˜ ์‹คํŒจ๋กœ ์ง๊ฒฐ๋ฉ๋‹ˆ๋‹ค.

2. ๊ฒฐ๊ณผ์ค‘์‹ฌ์  ํ•ด๊ฒฐ์ฑ…: "ํ•˜์ด๋ธŒ(Hive)์™€ ํ•˜๋‘ก์˜ ๊ฒฐํ•ฉ์œผ๋กœ ๋ฐ์ดํ„ฐ ์ฃผ๊ถŒ๊ณผ ๋ถ„์„ ํšจ์œจ์„ ๋™์‹œ์— ์žก๋‹ค"

๋ณธ ๊ฐ•์˜๋Š” ํ•˜๋‘ก 1.0.4์™€ ํ•˜์ด๋ธŒ 0.9.0 ํ™˜๊ฒฝ์„ ํ†ตํ•ด ๋น…๋ฐ์ดํ„ฐ ์ธํ”„๋ผ์˜ ํ•ต์‹ฌ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ์™„๋ฒฝํžˆ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜๊ฐ•์ƒ๋“ค์€ ์‹ค์Šต์„ ํ†ตํ•ด ๋‚ด๋ถ€ ํ…Œ์ด๋ธ”๊ณผ ์™ธ๋ถ€ ํ…Œ์ด๋ธ”(External Table)์˜ ์ฐจ์ด๋ฅผ ๋ช…ํ™•ํžˆ ๊ตฌ๋ถ„ํ•˜๊ณ , LOCATION ์˜ต์…˜์„ ํ™œ์šฉํ•ด ํ…Œ์ด๋ธ” ๊ตฌ์กฐ๊ฐ€ ์‚ญ์ œ๋˜์–ด๋„ ์›๋ณธ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณด์กดํ•  ์ˆ˜ ์žˆ๋Š” ์‹ค๋ฌด ์ตœ์ ํ™” ์„ค๊ณ„ ๊ธฐ๋ฒ•์„ ์Šต๋“ํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์ ์œผ๋กœ ์ˆ˜๊ฐ•์ƒ์€ ๋ณต์žกํ•œ ๋งต๋ฆฌ๋“€์Šค ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์—†์ด๋„ HiveQL์„ ํ†ตํ•ด ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ๋ฅผ ์ž์œ ์ž์žฌ๋กœ ์ œ์–ดํ•˜๋Š” ๋ถ„์„ ์ „๋ฌธ๊ฐ€๋กœ ๊ฑฐ๋“ญ๋‚  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

3. ์ง€์‹๊ณต์œ ์ž ๋ฉ”์‹œ์ง€: "์ด๋ก ์„ ๋„˜์–ด ์‹ค๋ฌด ํ˜„์žฅ์—์„œ ์ฆ‰์‹œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ๊ธฐ์ˆ ์„ ์ „ํ•ฉ๋‹ˆ๋‹ค

" ์•ˆ๋…•ํ•˜์„ธ์š”, IT ๊ธฐ์ˆ  ๊ต์œก ์ „๋ฌธ๊ฐ€๋กœ์„œ ์—ฌ๋Ÿฌ๋ถ„์˜ ์„ฑ์žฅ์„ ๋•๊ณ  ์žˆ๋Š” ์žฅ์˜ํ™˜์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ 30๊ฐ• ์ปค๋ฆฌํ˜๋Ÿผ์€ ๋‹จ์ˆœํžˆ ์ง€์‹์„ ๋‚˜์—ดํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์ œ๊ฐ€ ํ˜„์žฅ์—์„œ ๊ฒช์€ ์ˆ˜๋งŽ์€ ์‹œํ–‰์ฐฉ์˜ค์™€ ๋…ธํ•˜์šฐ๋ฅผ ๋…น์—ฌ๋ƒˆ์Šต๋‹ˆ๋‹ค. 4์ฐจ ์‚ฐ์—…ํ˜๋ช…์˜ ํ•ต์‹ฌ์ธ AI์™€ ๋จธ์‹ ๋Ÿฌ๋‹์˜ ๊ธฐ์ดˆ๋Š” ๊ฒฐ๊ตญ '๋ฐ์ดํ„ฐ'์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ฐ•์˜๋ฅผ ํ†ตํ•ด ์—ฌ๋Ÿฌ๋ถ„์ด ๋น…๋ฐ์ดํ„ฐ๋ผ๋Š” ๊ฑฐ๋Œ€ํ•œ ํ๋ฆ„ ์œ„์—์„œ ์ž์‹  ์žˆ๊ฒŒ ํ•ญํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๊ฐ•๋ ฅํ•œ ๋ฌด๊ธฐ๋ฅผ ์žฅ์ฐฉํ•˜์‹œ๊ธธ ๋ฐ”๋ž๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„์˜ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ์—ฌ์ •์— ๋“ ๋“ ํ•œ ๊ฐ€์ด๋“œ๊ฐ€ ๋˜์–ด๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฐ ๋ถ„๋“ค๊ป˜
์ถ”์ฒœ๋“œ๋ ค์š”

ํ•™์Šต ๋Œ€์ƒ์€
๋ˆ„๊ตฌ์ผ๊นŒ์š”?

  • ๋ฐ์ดํ„ฐ ์œ ์‹ค ์—†๋Š” ์•ˆ์ •์ ์ธ ์ธํ”„๋ผ ์„ค๊ณ„๋ฅผ ์›ํ•˜๋Š” ์—”์ง€๋‹ˆ์–ด: ํ•˜์ด๋ธŒ(Hive)์˜ ์™ธ๋ถ€ ํ…Œ์ด๋ธ”(External Table) ๊ฐœ๋…์„ ์ •ํ™•ํžˆ ์ดํ•ดํ•˜๊ณ , ์‹œ์Šคํ…œ ์žฅ์• ๋‚˜ ์‹ค์ˆ˜๋กœ ์ธํ•œ ๋ฐ์ดํ„ฐ ์‚ญ์ œ ์‹œ์—๋„ ์›๋ณธ ๋ฐ์ดํ„ฐ๋ฅผ ์•ˆ์ „ํ•˜๊ฒŒ ๋ณด์กดํ•˜๋Š” ์‹ค์ „ ์„ค๊ณ„ ๊ธฐ๋ฒ•์„ ๋ฐฐ์šฐ๊ณ ์ž ํ•˜๋Š” ๋ถ„๋“ค์—๊ฒŒ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.

  • ๋ณต์žกํ•œ ์ฝ”๋”ฉ ์—†์ด ๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๊ณ  ์‹ถ์€ ๋ถ„์„๊ฐ€: ์ž๋ฐ” ๊ธฐ๋ฐ˜์˜ ๋ณต์žกํ•œ ๋งต๋ฆฌ๋“€์Šค(MapReduce) ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋Œ€์‹ , ์ต์ˆ™ํ•œ SQL ๋ฐฉ์‹์ธ HiveQL์„ ํ™œ์šฉํ•˜์—ฌ ํ…Œ๋ผ๋ฐ”์ดํŠธ๊ธ‰ ์ด์ƒ์˜ ๋Œ€๊ทœ๋ชจ ๋ฐ์ดํ„ฐ๋ฅผ ์ž์œ ์ž์žฌ๋กœ ๋ถ„์„ํ•˜๊ณ  ์ œ์–ดํ•˜๋Š” ์—ญ๋Ÿ‰์„ ๊ฐ–์ถ”๊ณ  ์‹ถ์€ ๋ถ„๋“ค์—๊ฒŒ ์ถ”์ฒœํ•ฉ๋‹ˆ๋‹ค.

  • ํ•˜๋‘ก ์—์ฝ”์‹œ์Šคํ…œ์˜ ๊ธฐ์ดˆ๋ถ€ํ„ฐ ์‹ค๋ฌด ๊ตฌ๋™๊นŒ์ง€ ์™„๋ฒฝํžˆ ๋งˆ์Šคํ„ฐํ•˜๋ ค๋Š” ์ž…๋ฌธ์ž: ๋„ค์ž„๋…ธ๋“œ ํฌ๋งท, ๋ฐฉํ™”๋ฒฝ ์„ค์ •, ์„œ๋น„์Šค ๊ตฌ๋™ ๋“ฑ ํ•˜๋‘ก ํ™˜๊ฒฝ ๊ตฌ์ถ•์˜ ์ „ ๊ณผ์ •์„ ์ง์ ‘ ์‹ค์Šตํ•˜๋ฉฐ ๋น…๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง์˜ ์ „์ฒด์ ์ธ ํ๋ฆ„์„ ์ฒด๊ณ„์ ์œผ๋กœ ์ •๋ฆฌํ•˜๊ณ  ์‹ถ์€ ๋ถ„๋“ค์—๊ฒŒ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

์„ ์ˆ˜ ์ง€์‹,
ํ•„์š”ํ• ๊นŒ์š”?

  • ๋ฆฌ๋ˆ…์Šค(Linux) ๊ธฐ์ดˆ ์šด์˜ ๋Šฅ๋ ฅ: ํ•˜๋‘ก ์„œ๋น„์Šค ๊ตฌ๋™์„ ์œ„ํ•ด start-all.sh์™€ ๊ฐ™์€ ์…ธ ์ปค๋งจ๋“œ ๊ธฐ๋ฐ˜์˜ ๋ช…๋ น์–ด ์‹คํ–‰ ํ™˜๊ฒฝ์— ์ต์ˆ™ํ•ด์•ผ ํ•˜๋ฉฐ, ๋ฆฌ๋ˆ…์Šค ์‹œ์Šคํ…œ์ƒ์˜ ๋ฐฉํ™”๋ฒฝ ์„ค์ • ๋ฐ ๋กœ๊ทธ ํŒŒ์ผ ๊ด€๋ฆฌ ๋ฐฉ์‹์— ๋Œ€ํ•œ ๊ธฐ๋ณธ์ ์ธ ์ดํ•ด๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

  • SQL(Structured Query Language) ๊ธฐ๋ณธ ์ง€์‹: ํ•˜์ด๋ธŒ(Hive)๋Š” SQL๊ณผ ์œ ์‚ฌํ•œ HiveQL์„ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋ฏ€๋กœ, ํ…Œ์ด๋ธ” ์ƒ์„ฑ(CREATE), ๋ฐ์ดํ„ฐ ์กฐํšŒ(SELECT), ํ…Œ์ด๋ธ” ์‚ญ์ œ(DROP) ๋“ฑ ๊ธฐ๋ณธ์ ์ธ ์งˆ์˜์–ด ๊ตฌ์กฐ๋ฅผ ์•Œ๊ณ  ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

  • HDFS ๋ฐ ๋งต๋ฆฌ๋“€์Šค(MapReduce) ๊ฐœ๋…: ํ•˜๋‘ก ๋ถ„์‚ฐ ํŒŒ์ผ ์‹œ์Šคํ…œ(HDFS)์˜ ์ž‘๋™ ์›๋ฆฌ์™€ ๋งต๋ฆฌ๋“€์Šค ์ž‘์—…์˜ ํ๋ฆ„์„ ์‚ฌ์ „์— ์ดํ•ดํ•˜๊ณ  ์žˆ๋‹ค๋ฉด, ํ•˜๋‘ก ์—์ฝ”์‹œ์Šคํ…œ ๋‚ด์—์„œ ํ•˜์ด๋ธŒ๊ฐ€ ๋ฐ์ดํ„ฐ๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ๋”์šฑ ๋น ๋ฅด๊ฒŒ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ์„ค๊ณ„ ๊ธฐ์ดˆ: ๋ฐ์ดํ„ฐ ๋ถ„์„ ํšจ์œจ์„ ๋†’์ด๊ธฐ ์œ„ํ•ด ๋‚ด๋ถ€ ํ…Œ์ด๋ธ”๊ณผ ์™ธ๋ถ€ ํ…Œ์ด๋ธ”์„ ๊ตฌ๋ถ„ํ•˜์—ฌ ์„ค๊ณ„ํ•˜๋Š” ์‹ค์Šต์ด ํฌํ•จ๋˜์–ด ์žˆ์œผ๋ฏ€๋กœ, ํ…Œ์ด๋ธ” ๊ตฌ์กฐ(Schema)์™€ ๋ฐ์ดํ„ฐ ๊ฒฝ๋กœ(Location) ์„ค์ •์— ๋Œ€ํ•œ ๊ธฐ์ดˆ์ ์ธ ๊ฐœ๋…์ด ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.

  • VirtualBox ์ฃผ์š” ์‚ฌ์šฉ๋ฒ• (์‹ค์Šต ํ™˜๊ฒฝ ์กฐ์„ฑ)

  • ํ•˜๋‘ก ์‹ค์Šต์„ ์œ„ํ•œ ํ•„์ˆ˜ ์„ ์ˆ˜์ง€์‹

์•ˆ๋…•ํ•˜์„ธ์š”
์žฅ์˜์™„์ž…๋‹ˆ๋‹ค.

ํ†ต์‹ ์—…์ฒด์ธ ์—˜์ง€์ „์ž์—์„œ ์•ฝ27๋…„๊ฐ„ ๊ฐœ๋ฐœ์ž ์—…๋ฌด๋ฅผ ๋‹ด๋‹นํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์€ํ‡ดํ›„์— ๊ฐ ๋Œ€ํ•™๊ต์˜ ๊ต์–‘SW์ฝ”๋”ฉ ํ•™์Šต๊ณผ ์ง์—…ํ•™๊ต ๊ด€๊ณต์„œ๋“ฑ์—์„œ ๊ฐ•์˜๋ฅผ ์ง„ํ–‰ํ•˜์—ฌ์™”์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋„ ์ง์—…์ „๋ฌธํ•™๊ต์—์„œ ์‚ฌ๋ฌผIOT๊ณผ์ •์˜ ์ˆ˜์—…์„ ์ง„ํ–‰ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์•„๋ž˜์™€ ๊ฐ™์€ ๋‚ด์šฉ์œผ๋กœ ๊ฐ•์˜๋…นํ™”ํ•˜์—ฌ ์ด๋ฅผ ๊ณต์œ ํ•˜๊ณ  ์‹ถ์Šต๋‹ˆ๋‹ค.

1.Rํ†ต๊ณ„ ๊ธฐ๋ณธ/์‹ฌํ™”๊ณผ์ •

2.์‚ฌ๋ฌผIOT ๊ธฐ์ˆ ๊ธฐ๋ฒ•์˜ ์„ผ์„œ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘๋ถ€ ์•„๋‘์ด๋…ธ

3.๋ผ์ฆˆ๋ฒ ๋ฆฌํŒŒ์ด ๊ธฐ์ˆ 

4.AIํ™œ์šฉ์„ ์œ„ํ•œ ๊ธฐ๋ณธ/์‹ฌํ™” ๊ณผ์ •(๊ธฐ๋ณธ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์ดํ•ด ๋ฐ ํˆดํ™œ์šฉ๋ฒ•)

5.์Šค๋งˆํŠธ ํŒœ ๊ตฌ์„ฑ์„ ์œ„ํ•œ ์‹œ์Šคํ…œ์ ์ธ ํ”Œ๋žซํผ ๊ตฌํ˜„๊ธฐ๋ฒ•

6.์‹œ๊ฐํ™” ๊ธฐ๋ฒ•์ธ ํƒœ๋ธ”๋กœ์™€ PowerBI ๊ธฐ์ˆ 

7.ํ˜„์—…์˜ 6์‹œ๊ทธ๋งˆ ๊ธฐ์ˆ ๊ธฐ๋ฒ•

8.๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ํ•˜๋‘ก์—์ฝ”์‹œ์Šคํ…œ ๊ตฌ์ถ•

๋”๋ณด๊ธฐ

์ปค๋ฆฌํ˜๋Ÿผ

์ „์ฒด

4๊ฐœ โˆ™ (1์‹œ๊ฐ„ 22๋ถ„)

ํ•ด๋‹น ๊ฐ•์˜์—์„œ ์ œ๊ณต:

์ˆ˜์—…์ž๋ฃŒ
๊ฐ•์˜ ๊ฒŒ์‹œ์ผ: 
๋งˆ์ง€๋ง‰ ์—…๋ฐ์ดํŠธ์ผ: 

์ˆ˜๊ฐ•ํ‰

์•„์ง ์ถฉ๋ถ„ํ•œ ํ‰๊ฐ€๋ฅผ ๋ฐ›์ง€ ๋ชปํ•œ ๊ฐ•์˜์ž…๋‹ˆ๋‹ค.
๋ชจ๋‘์—๊ฒŒ ๋„์›€์ด ๋˜๋Š” ์ˆ˜๊ฐ•ํ‰์˜ ์ฃผ์ธ๊ณต์ด ๋˜์–ด์ฃผ์„ธ์š”!

๋น„์Šทํ•œ ๊ฐ•์˜

๊ฐ™์€ ๋ถ„์•ผ์˜ ๋‹ค๋ฅธ ๊ฐ•์˜๋ฅผ ๋งŒ๋‚˜๋ณด์„ธ์š”!

์–ผ๋ฆฌ๋ฒ„๋“œ ํ• ์ธ ์ค‘ (7์ผ ๋‚จ์Œ)

โ‚ฉ26,400

70%

โ‚ฉ88,000