NAVERの面接官が䜿甚するリアルタむム超䜎遅延プラットフォヌム Apache Flink

ほずんどの開発者は、デヌタ凊理に぀いお語る際、䟝然ずしおバッチBatchやCronJobにずどたっおいたす。しかし、実際のサヌビス環境ではデヌタが絶え間なく生成されおおり、その流れを即座に凊理できなければ、遅延・ボトルネック・敎合性の問題ぞず぀ながりたす。私自身も倧芏暡なトラフィック環境で、リアルタむム掚薊、状態同期、むベント遅延ずいった問題に盎面し、「これをバッチで凊理するのが正解なのだろうか」ず䜕床も悩みたした。この講矩は、たさにその問いから始たりたす。Apache Flinkを掻甚し、デヌタが流れる瞬間に挔算を行い、状態を安党に管理し、Event Timeに基づいお正確な結果を導き出す方法を、実務の芳点から玐解いおいきたす。単なる理論の説明ではなく、実際の゜ヌスコヌドや構造を通じお、リアルタむム・ストリヌム凊理システムがどのように蚭蚈・運甚されおいるかを䜓隓できたす。リアルタむム凊理が挠然ずしおいた方、メッセヌゞングのその先の領域が気になっおいた方にずっお、この講矩は明確な指針ずなるはずです。

難易床 初玚

受講期間 無制限

Java
Java
Docker
Docker
docker-compose
docker-compose
flink
flink
Java
Java
Docker
Docker
docker-compose
docker-compose
flink
flink

孊習した受講者のレビュヌ

4.8

5.0

Ande

96% 受講埌に䜜成

もう二回目の講矩をオヌプンするこずになりたした!!個人的に知識共有ぞの欲が匷くお、私が知っおいる郚分をどんどん解説しおあげたかったんです。 今回扱おうずしおいる内容はApache Flinkに関する内容で、皆さんが必ず知っおおくず良いテヌマだず遞定したした。 正盎に蚀いたすね!!皆さん、リアルタむム通信に぀いお知識がなければ、この内容を理解するのは難しいかもしれたせん。(もちろん私が党郚教えたすし、正盎講矩がずおも良く構成されおいるず思いたす。笑) でも必ず孊ばなければなりたせん。難しいけど必ず孊ぶべきだず、私が断蚀しおお䌝えしたいです。 リアルタむム通信ずいうのは、最近の時代にはずおも重芁になっおきおいるようです。より倚くのトラフィックを誘発し、より倚くのデヌタを収集するために、より倚くのコンテンツを提䟛しなければならないず思いたす。 実際にこういった郚分が数倚くの倧䌁業やナニコヌンスタヌトアップに反映されおいたすよね。皆さんがご存知のNetflixの掚薊システム、Uberのリアルタむム料金蚈算、そしおたあMUSINSAのような掚薊システム ほずんど皆さんが䜿甚されおいるプラットフォヌムやサヌビスでは、このリアルタむム通信が抜けおいる堎合を芋たこずがありたせん。 ですから、どうかこの動画を通しお倚くの方々が孊習されたら嬉しいです。本圓に必ず孊ばなければなりたせん。皆さんのキャリアのためにも、お願いしたすね笑笑笑

5.0

에읎믞

89% 受講埌に䜜成

Inflearnで芋た講矩の䞭で指折りの講矩だず思いたす..!! 理論的な郚分も党く䞍足しおおらず、サンプルコヌドずそれに䌎う実習たで党般的に倚くの郚分を孊べるず思いたす。 Sourceずいう抂念を教えおくださる時、あえお倖郚ストレヌゞやMSQを䜿甚せずに実装したのがより印象深いず思いたす。その郚分たで扱っおいたら講矩の目暙から䞀郚倖れる内容だったず思いたす。 本圓に講矩よく芋たした。ずおも倚くのこずを孊んでいく内容ですね。

5.0

warna

85% 受講埌に䜜成

共有者様の講矩を芋ながら、私は最近ネむバヌクラりドに転職したした本圓にありがずうございたす。 私がむンフラヌンで最も奜きな知識共有者様で、有名ではありたせんが、短い時間で本圓に倚くの抂念を教えおくださり、時間を効率的に䜿おうず努力される姿が講矩ごずに芋えお、ずおも良い講矩だず思いたす。 今回も新しくオヌプンされるずすぐに受講したしたが...やはり本圓に内容がずおも有益だず思いたす。本圓にたくさん孊べる内容でした。

受講埌に埗られるこず

  • バッチではなくリアルタむムストリヌムベヌスでデヌタを凊理する蚭蚈

  • Event Time・Watermarkを掻甚しお遅延デヌタたで正確に凊理

  • ステヌトフルプロセッシングを通じお「状態を持぀」リアルタむムアプリケヌションを実珟

  • Apache Flinkで実務に即掻甚できるストリヌム凊理パむプラむン

  • リアルタむムのレコメンデヌション・課金・集蚈システムを蚭蚈可胜なアヌキテクチャ

リアルタむムステヌトフル通信のためのOpenSource PlatformをNaverの開発者が教える。⚡

  • ❗以䞋の内容は実際の䌚話内容です。

😄 Naver 開発者 : もう䞀぀扱いたくなったのですが  もしかしおHongさん、お忙しいですか 

😄 Hong : 連䌑になぜ私を蚪ねおくるんですか   䜕がそんなに閃いたんですか

😄 Naver 開発者 : NATSを䞀床觊っおみたら、リアルタむム通信をもっず扱いたくなっお  もしかしお Apache Flinkを䞀床觊っおみようかず思うんですが、どうですか

😁 Kakao 開発者(面接官) : 蚀ったじゃんwww あい぀開発しかしないんだっお

😄 Hong : 新しいこずを扱うのは倧賛成なんですけど、それ䜿ったこずないです ㅠㅠ

😄 Naver 開発者 : 倧䞈倫ですよ 私が資料ずか党郚䜜りたすから。ぜひ䞀緒にやっおください 泣 Apache Flink、本圓に良いのにみんなあたり知らないんですよね 。キャリアの面でもリアルタむムデヌタ収集ずいうのは本圓に重芁なんですけど、なぜみんな扱わないのかよく分かりたせん。

😄 Naver 開発者 : リアルタむム掚薊やリアルタむム料金蚈算、こういうの気になりたせんか  

😄 Hong :  私はい぀でも倧歓迎です。䞀床䞀緒に準備しおみたしょう.. 私の有絊を献䞊しお䜜りたす。

NAVERの゚ンゞニアは、リアルタむム超䜎遅延通信のためにどのようなこずに取り組んでいるのでしょうか ⚡

珟代のデヌタ構造は、すべおがリアルタむムに繋がっおいたす。Netflixのレコメンドシステムを超えお、リアルタむムで同期されるチケットのステヌタスや、リアルタむムで同期されるUberの䟡栌蚭定など、このようなプロセスを皆さんはどのように実装できるでしょうか そのたびに悩むこずになりたす。バッチで凊理すべきだろうかそれだずボトルネックが発生したりリアルタむム性が損なわれたりするけれど、どうすればいいだろうストリヌム凊理は聞いたこずがあるけれど、これはたたどうやっお適甚すればいいんだろうどのプラットフォヌムを導入すべきだろうかそれに䌎うTradeoffは䜕だろうWindowずいう抂念は䜕だろう

その答えは、たさにこの講座にありたす。リアルタむム・超䜎遅延のビゞネス芁件を満たすために導入できるApache Flink!! 倚様なSource接続を通じたリアルタむムデヌタ凊理の方法、Windowの芳点におけるEvent Timeの哲孊、State管理による過去の状態管理など、この講座を通じおリアルタむム凊理モゞュヌルや超䜎遅延凊理モゞュヌルのための安定性ず最適化手法を確実に習埗し、実務に掻甚しおください。

単に理論だけを扱う講矩ではありたせん。実際の倚様な゜ヌスコヌドやサンプルコヌドを通じお、Apache Flinkずいうプラットフォヌムを盎接䜿甚し、実装する方法を孊ぶ時間をぜひ持っおいただければず思いたす。🚀

なぜ Apache Flink なのか

Apache Flinkは、単にメッセヌゞを䌝達するレベルを超え、リアルタむムのデヌタフロヌ自䜓を凊理・解析するストリヌム凊理゚ンゞンです。埓来のメッセヌゞングシステムがデヌタの䌝達に焊点を圓おおいたのに察し、Flinkはデヌタが流れる過皋で集蚈、倉換、状態管理Stateful Processingたでを䞀぀のパむプラむンの䞭で実行できるように蚭蚈されおいたす。特にEvent Timeベヌスの凊理モデルを䞭心に、遅延が発生したり順序が保蚌されないデヌタ環境でも正確な結果を保蚌できる点がFlinkの栞心的な匷みです。これにより、リアルタむムレコメンデヌション、リアルタむム課金、異垞怜知のように、時間の正確さがビゞネスの品質に盎結するシステムを安定的に構築できたす。

たた、Flinkはバッチ凊理ずストリヌム凊理を分離せず、䞀぀の統合された実行モデルずしお提䟛するこずで、既存のバッチシステムの限界を克服し、垞に動䜜するリアルタむムアプリケヌションを自然に構築できるよう支揎したす。チェックポむンティングず状態スナップショットに基づいた障害埩旧メカニズムもたた、分散環境においお高い信頌性を提䟛したす。このような特城により、Apache Flinkは単なる技術の遞択肢を超え、リアルタむムデヌタ䞭心のアヌキテクチャを蚭蚈するためのコアプラットフォヌムずしお定着しおおり、倧芏暡なトラフィックず耇雑なビゞネスロゞックを同時に満たす必芁がある珟代のサヌビス環境においお、たすたす重芁な圹割を果たしおいたす。


Apache Flinkの公匏ドキュメントでは、自らをこのように玹介しおいたす。

デヌタストリヌム䞊のステヌトフルな蚈算

Apache Flinkは、アンバりンデッド無界およびバりンデッド有界デヌタストリヌムに察しおステヌトフルな蚈算を行うためのフレヌムワヌクおよび分散凊理゚ンゞンです。Flinkは、あらゆる䞀般的なクラスタヌ環境で動䜜し、むンメモリ速床か぀任意のスケヌルで蚈算を実行できるように蚭蚈されおいたす。

( Apache Flinkは、無限unboundedおよび有限boundedデヌタストリヌムを察象にステヌトフルな挔算を実行するためのフレヌムワヌクであり、分散凊理゚ンゞンです。Flinkは、あらゆる䞻芁なクラスタヌ環境で実行できるように蚭蚈されおおり、むンメモリレベルの速床であらゆる芏暡のデヌタ凊理たで拡匵可胜なように䜜られおいたす。 )

珟代的なアヌキテクチャでは、サヌビス党䜓で絶えずデヌタが生成され、リアルタむムで凊理されるべき構造を持぀ようになっおいたす。このような環境においお、バッチ凊理の限界を超え、ストリヌムベヌスでデヌタを即座に凊理し、状態を管理できるApache Flinkを孊習するこずは、遞択ではなく必須に近い技術ずなりたした。超䜎遅延凊理、正確な時間ベヌスEvent Time挔算、そしお安定した状態管理たで提䟛するFlinkは、高性胜なリアルタむムデヌタアヌキテクチャを構築するための栞ずなるプラットフォヌムず蚀えたす。

この時間を通じお、ぜひApache Flinkの掻甚法を孊習し、他ずは差別化された技術スタックを持぀開発者ぞず成長されるこずをお勧めしたす。 🚀

この講矩の特城⚡

📌 実際のNAVER開発者が実務で䜿甚する分散ストリヌム凊理゚ンゞン

  • NAVERで開発者ずしお勀務しおいる珟職の開発者が参加しお構成された講矩です。単にリアルタむム凊理ずは䜕かを扱うのではなく、Apache Flinkずいうリアルタむムデヌタフロヌ自䜓を凊理・解釈するストリヌム凊理゚ンゞンを䞀緒に䜜成しながら孊習するこずができたす。これを通じお、実務䞭心に幅広く孊べる内容で準備したした。

📌 講矩芁玄、゜ヌスコヌド、およびApache Flinkの様々な状態抂念

  • すべおの講矩では、実際のダむアグラムを提䟛したり、実習過皋を幅広くお芋せしたりしたす。単に曞き写すだけではなく、実際に動䜜する過皋や適甚できるパタヌンをお䌝えしたす。


📌 ゞュニアが知れば優秀なゞュニア.. シニアが知れば有胜なシニア。そのための分散メッセヌゞングプロトコルサヌビス

  • 倧容量デヌタを凊理するBatchず定期実行のためのCronJobだけをご存知でしょうか珟代的なシステムでは、このような呚期的な凊理ではなく、リアルタむム凊理を通じお倚様なデヌタ状態を管理しおいたす。そのために代衚的に導入可胜なApache Flink..!! Inflearnで唯䞀無二の内容です。

こんな方におすすめです 👚‍🏫

🎯 デヌタ凊理はBatch & CronJobしか知らない初・䞭玚開発者 mới chỉ biết đến Batch & CronJob trong xá»­ lÜ dữ liệu who only know Batch & CronJob for data processing

  • デヌタの凊理方法は非垞に倚岐にわたりたす。Batchのような倧容量凊理やCronJobのような定期的凊理も存圚したすが、珟代的なアヌキテクチャにおいお必須ずされるリアルタむム凊理 ぜひ䞀床孊んでみるこずを匷くおすすめしたす。

🎯 リアルタむムストリヌム凊理は党くわからないが孊びたい開発者 dù chưa biết gì về xá»­ lÜ luồng thời gian thá»±c real-time stream processing from scratch

  • この講座が最適です。サヌバヌ開発者ずしお珟代的なデヌタ凊理方匏を孊習するために、この講座を通じおなぜリアルタむム凊理が重芁なのかをしっかりず孊んでください。

🎯 Apache Flinkずいうプラットフォヌムの゚コシステムが気になるシニア開発者

  • ある皋床の開発経隓がある方でも、Apach Flinkは初めお聞くずいう方が倚いです。それだけ他の人が知らない新しい技術を習埗できるため、おすすめしたす。


🎯 リアルタむムレコメンドシステム(Netflix)、リアルタむム料金蚈算(Uber)プラットフォヌムの内郚が気になる バック゚ンド就掻生・ゞュニア開発者

  • これらのサヌビスはすべおリアルタむムストリヌム凊理をサポヌトしおいたす。そのプロセスがどのようになっおいるのか、ぜひこの講矩を通じお皆さんの芋識を広げる時間ずしお掻甚しおみおください。


この講矩を準備されたNAVER゚ンゞニアの方の経歎🀭


10幎目のバック゚ンドサヌバヌ開発者ずしおNAVERで勀務しおいるAnde略称ず申したす。

私が知っおいる様々な技術やスタックを他の方々ず共有し、議論したいず思い、このように講矩を制䜜するこずになりたした。私のノりハりを皆さんに習埗しおいただき、私ず同じようなミスをしないでほしいず願っおいたす。

知人の玹介カカオの面接官でこのように合流するこずになり、Hongさんの䞻導のもずで䞀緒に撮圱を行うこずになりたした。できるだけ倚くの内容を盛り蟌めるよう努めたしたので、ぜひご泚目いただければ幞いです。たた、質問も気軜にお寄せください。私ができる限り確認しお回答させおいただきたす。ありがずうございたす。

[珟] NAVER サヌバヌ(本瀟) 開発者

[前] 新䞖界グルヌプ所属 バック゚ンド開発者

[前] ヘルスケアスタヌトアップ サヌバヌ開発者

[前] ゜りル4幎制コンピュヌタヌ工孊専攻

参考事項

実習環境

  • IDE

    • Visual Studio Code

  • OS

    • Apple M3 Air

Java, Apache Flink, Docker, docker-compose 技術を䜿甚しおいたす。

こんな方に
おすすめです

孊習察象は
誰でしょう

  • バッチずCronJobの限界を前に、毎回蚭蚈で行き詰たるバック゚ンド゚ンゞニア

  • Kafkaは䜿っおいるが、「その次のステップ」が分からずもどかしい開発者

  • リアルタむム掚薊・課金・集蚈システムの構造が感芚でしか理解できおいない開発者

  • Event Time・Stateの抂念がい぀も難しく感じられるストリヌム入門者

  • リアルタむムデヌタ凊理でキャリアの差別化を図りたい䞭堅・シニア゚ンゞニア

こんにちは
Hongです。

むンフラン認蚌

8,942

受講生

571

受講レビュヌ

156

回答

4.7

講座評䟡

30

講座

自己玹介

家でだらだら過ごしおいたずころ、開発に興味を持ち始めお勉匷をスタヌトし、珟圚は板橋パンギョでプラットフォヌムサヌバヌの開発を担圓しおいたす。私が勉匷しおきた方法や、実務で盎面する可胜性のある様々な問題点ずその解決策を皆さんに提䟛したいず考え、知識共有者ずしおの掻動を続けおいたす。

 

講矩は私䞀人の知識だけで䜜られるものではありたせん。すべおの講矩には、共に䜜り䞊げおくださる方々がいたす。

 

知識共有者の経歎

[前] サンドボックスIP関連ブロックチェヌン開発者

[前] メタバヌスバック゚ンド開発者

[珟] 板橋パンギョでベテランになり぀぀あるサヌバヌ開発者

 

むンタビュヌ履歎

その他の問い合わせ

  • unduck2022@gmail.com

もっず芋る

カリキュラム

党䜓

27件 ∙ (6時間 45分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

9ä»¶

4.8

9件の受講レビュヌ

  • and3839455877님의 프로필 읎믞지
    and3839455877

    受講レビュヌ 3

    ∙

    平均評䟡 5.0

    修正枈み

    5

    96% 受講埌に䜜成

    もう二回目の講矩をオヌプンするこずになりたした!!個人的に知識共有ぞの欲が匷くお、私が知っおいる郚分をどんどん解説しおあげたかったんです。 今回扱おうずしおいる内容はApache Flinkに関する内容で、皆さんが必ず知っおおくず良いテヌマだず遞定したした。 正盎に蚀いたすね!!皆さん、リアルタむム通信に぀いお知識がなければ、この内容を理解するのは難しいかもしれたせん。(もちろん私が党郚教えたすし、正盎講矩がずおも良く構成されおいるず思いたす。笑) でも必ず孊ばなければなりたせん。難しいけど必ず孊ぶべきだず、私が断蚀しおお䌝えしたいです。 リアルタむム通信ずいうのは、最近の時代にはずおも重芁になっおきおいるようです。より倚くのトラフィックを誘発し、より倚くのデヌタを収集するために、より倚くのコンテンツを提䟛しなければならないず思いたす。 実際にこういった郚分が数倚くの倧䌁業やナニコヌンスタヌトアップに反映されおいたすよね。皆さんがご存知のNetflixの掚薊システム、Uberのリアルタむム料金蚈算、そしおたあMUSINSAのような掚薊システム ほずんど皆さんが䜿甚されおいるプラットフォヌムやサヌビスでは、このリアルタむム通信が抜けおいる堎合を芋たこずがありたせん。 ですから、どうかこの動画を通しお倚くの方々が孊習されたら嬉しいです。本圓に必ず孊ばなければなりたせん。皆さんのキャリアのためにも、お願いしたすね笑笑笑

    • jhong
      知識共有者

      wwww こんなに熱心な方は初めお芋たした。私もリアルタむム通信ずいうキャリアが開発者の芳点から本圓に倧きな助けになるず思いたす。この方がおっしゃっおくださったこずに本圓に共感したすし、倚くの方々が私たちが共感する郚分を認識しお参考にしおくださったらずおも嬉しいです。 良い講矩を䞀緒に䜜れおい぀も光栄です~~! これからもよろしくお願いしたす!!

  • bosterbucheon2980님의 프로필 읎믞지
    bosterbucheon2980

    受講レビュヌ 5

    ∙

    平均評䟡 5.0

    5

    89% 受講埌に䜜成

    最初は、こんなこずたで知る必芁があるのか自分のキャリアにこれを勉匷するのが正しいのかず思ったんですが。わあ、本圓にこれすごく有益です。単玔な講矩ではなく、Flinkずいうサヌビスに぀いおも孊べたすが、その先をもっず芋るこずができる講矩だず思いたす。 講矩ずおも良かったです。

    • jhong
      知識共有者

      ブスタ様、こんにちは難しいプラットフォヌムではありたすが できるだけ分かりやすく解説しおお䌝えできるよう努めたした。励みになるお蚀葉をいただき、ありがずうございたす

  • miaaade9585868님의 프로필 읎믞지
    miaaade9585868

    受講レビュヌ 9

    ∙

    平均評䟡 5.0

    5

    89% 受講埌に䜜成

    Inflearnで芋た講矩の䞭で指折りの講矩だず思いたす..!! 理論的な郚分も党く䞍足しおおらず、サンプルコヌドずそれに䌎う実習たで党般的に倚くの郚分を孊べるず思いたす。 Sourceずいう抂念を教えおくださる時、あえお倖郚ストレヌゞやMSQを䜿甚せずに実装したのがより印象深いず思いたす。その郚分たで扱っおいたら講矩の目暙から䞀郚倖れる内容だったず思いたす。 本圓に講矩よく芋たした。ずおも倚くのこずを孊んでいく内容ですね。

    • jhong
      知識共有者

      こんにちは、゚むミヌさん!!このようにレビュヌを残しおいただきありがずうございたす。指折りの講矩だなんお ㅠㅠ ずおも励みになるレビュヌです。 次の講矩もより有益で、゚むミヌさんのお圹に立おる内容で準備しおみたす。良い䞀日をお過ごしください!

  • gjsu540607534님의 프로필 읎믞지
    gjsu540607534

    受講レビュヌ 13

    ∙

    平均評䟡 5.0

    5

    78% 受講埌に䜜成

    講矩ずおも良かったです。構成がずおも良いですね。リアルタむム通信が䜕なのか、この講矩䞀぀でしっかり理解できたず思いたす。 単玔にFlinkずいうプラットフォヌムだけを扱うのではなく、そのシニア開発者の方の芖点も垣間芋るこずができる内容だったず思いたす。

    • jhong
      知識共有者

      こんにちは、02幎生の開発者様良いレビュヌを残しおいただきありがずうございたすおっしゃっおいただいた郚分のように、単玔に䜿甚する方匏ではなく、もう少し広い芖野で芋るこずができる芳点を提䟛したいず思っおいたした。 今埌もより有益な講矩を提䟛いたしたす。レビュヌありがずうございたす。良い䞀日をお過ごしください

  • warna97725274님의 프로필 읎믞지
    warna97725274

    受講レビュヌ 9

    ∙

    平均評䟡 5.0

    5

    85% 受講埌に䜜成

    共有者様の講矩を芋ながら、私は最近ネむバヌクラりドに転職したした本圓にありがずうございたす。 私がむンフラヌンで最も奜きな知識共有者様で、有名ではありたせんが、短い時間で本圓に倚くの抂念を教えおくださり、時間を効率的に䜿おうず努力される姿が講矩ごずに芋えお、ずおも良い講矩だず思いたす。 今回も新しくオヌプンされるずすぐに受講したしたが...やはり本圓に内容がずおも有益だず思いたす。本圓にたくさん孊べる内容でした。

    • jhong
      知識共有者

      こんにちは warnaさん、ネむバヌクラりドだなんお本圓に玠晎らしいずころに行かれたしたね ㅎㅎ 矚たしいです機䌚があれば私も...ㅋㅋㅋㅋ 冗談ですが、今埌もっず有益で面癜い内容を扱いながら、皆さんに寄り添う講垫になりたす。 良い䞀日をお過ごしください、そしおこれからもっず良いこずだけがありたすように

Hongの他の講座

知識共有者の他の講座を芋おみたしょう

䌌おいる講座

同じ分野の他の講座を芋おみたしょう