シリコンバレーのリーダーが教えるビッグデータ処理(Spark)
keeyonghan
¥13,972
初級 / Apache Spark, pyspark, Pandas, Big Data, SQL
4.9
(11)
ビッグデータを処理するというのは、Pandasでデータを処理することと何が違うのでしょうか?ビッグデータ処理の必須フレームワークであるSparkについて学んでみましょうか?
初級
Apache Spark, pyspark, Pandas
AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家(元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授)から直接学んでみましょう。


学習した受講者のレビュー
5.0
hodoldol
ついに完走しました!! 技術的にも多くのことを得ることができましたが、講師の方が時間をかけて説明してくださるデータエンジニアリングの全般的な概念が本当に有益でした。(セクション2の内容、データエンジニアリングの未来)これを通じて、パイプラインをどのように設計し、どんな技術スタックを選択すべきかについて大きなインサイトを得ることができました。また、講義の合間にデータエンジニアがすべき悩みについて言及されるのですが、そのような話が私は好きでした。 また、講義自体が実務的なチップと理論的な部分をバランスよく学べるように作られており、知っておくべきことはきちんと教えてくださり、残りは勉強する人に任せるような部分が良いと思いました。 良い講義をありがとうございます!!
5.0
jackim97
ありがとうございます。
5.0
msson
いいですね
AIrflow+Snowflake+Docker基盤のデータパイプライン構築
データ実務で今すぐ活用できる実践的なSQLとPythonスキル
✅
シリコンバレー30年目のデータエンジニアが伝える実務ノウハウ
✅
評価4.9!サンノゼ州立大学データサイエンス専攻生が絶賛した講義
✅
Airflow&Snowflakeを活用した最新のデータパイプラインの設計と自動化
データが膨大な時代、データエンジニアリングの核心は、データを効率的に収集して加工し、必要な時点に提供することです。これには自動化されたデータパイプラインが不可欠であり、 AirflowとSnowflakeはこのプロセスで強力なツールとして機能します。
Airflowは、柔軟なスケジューリングとタスク管理により、複雑なデータフローを自動化し、正確で信頼性の高いデータ収集を可能にします。 Snowflakeはクラウドベースの強力なデータウェアハウスで、大量のデータを迅速に処理および拡張できるため、さまざまなビジネス環境で信頼性の高いデータ運用をサポートします。
このレッスンでは、Airflowのワークフロー自動化機能とSnowflakeのスケーラビリティとパフォーマンスを組み合わせて、効率的なデータパイプラインを設計および運用する方法を学びます。複雑なインフラストラクチャを設定せずに、データ収集から処理、保存、活用まで、単一のフローにつながるデータエンジニアリングの重要な技術を学ぶことができます。
1⃣ Airflow + Snowflake + Dockerで実戦データパイプライン設計
2⃣ Airflow環境設定からETL、DAG管理、自動化まで一度に習得
3⃣本番の例でデータフローを最適化し、運用ノウハウを身につける

データエンジニアとして
キャリアについて考えています。
データエンジニアになりたいのですが、何をすべきかわからない開発者/アナリスト/科学者/学生

データパイプラインの作成に興味があります。
データ関連の作業中にデータパイプラインに関連する作業を行う必要がある場合、またはこの方法がわからない場合

データエンジニアリングについて
もっと知りたいです。
データエンジニアやMLエンジニアなどで仕事をしていますが、もっと詳しく知りたい人
データ組織のミッションとデータエンジニアリングの役割が何であるかを知ることができます。
データインフラストラクチャを構成するデータウェアハウスとデータパイプラインについて学びます。
このプロセスでは、Snowflakeというデータウェアハウスをあなたのスキルセットに追加できます。
データパイプラインを作成、運用する際に役立つベストプラクティスについて学びます。
データパイプラインの作成/運用フレームワークで、最も人気のあるAirflowに基づいてさまざまなデータパイプラインを作成できます。
フルアップデート、増分アップデート、バックフィル、モニタリングなどの高度な概念も熟知しています。
PythonとSQLがどのような形でデータパイプラインを作成するために使用されるのか、実践的な経験を通じてデータを扱う人としての能力が高まります。
こんにちは。 30年目のシリコンバレーデータ専門家の一機用です。サムスン電子で初めてキャリアを始めた後、31歳の時にシリコンバレーに出発しました。ユデミー(2021年ナスダック上場)、ポリボア(2015年ヤフー買収)などの組織でデータチームをビルドし、多様なシリコンバレーや韓国素材企業向けにデータ諮問を行い、積み重ねたノウハウとシリコンバレー就職率1位を誇るサンノゼ州立大学で修士課程の学生を共有します。
Dockerに基づいてAirflowを実行します。講義内でDockerについて紹介し、インストールプロセスも説明します。
データウェアハウスとしては、Snowflakeの無料試用版を使用しています。 30日間または400ドルのクレジットの中で無料で利用できます。クレジットカードの入力は不要です。
データパイプラインコーディングの導入にGoogle Colabを使用します。
GitHub Repo: https://github.com/keeyong/airflow-bootcamp/
基本的なPython文法(初級)
基本的なSQL知識(初級)
一生懸命従うという意志
学習対象は
誰でしょう?
データエンジニアとして働いている、または働きたい人
データ関連のパイプラインの仕事をしている、またはしたいと思っている人
データ関連業務/プロジェクトに興味がある人
前提知識、
必要でしょうか?
Python (初級)
SQL (初級)
1,164
受講生
81
受講レビュー
42
回答
4.9
講座評価
5
講座
コンピューター工学の修士課程修了後、サムスン電子で始まったキャリアが友人の勧めでシリコンバレーへと繋がり、過去29年間で13社の様々なステージの企業(起業、大企業、多数のスタートアップ)を渡り歩いてきました。
Yahoo: エンジニアリングディレクターとして検索エンジンを開発。
Udemy。データチームをゼロから立ち上げ30名規模まで成長させ、2021年10月にナス닥(Nasdaq)上場。
サムスン電子
...
途中で11ヶ月間休んでみたり、図らずもエンジェル投資家(Chartmetric、Goodtime.io、Select Star、EO、Business Canvasなど)、アドバイザー(Moloco、Blind、Wolgeupjaengi Bujadeulなど)、コンサルティング(SKテレコム、現代カード、Eマートなど)などの役割を担いながら、自分自身のブランドを築いてきました。失敗を失敗ではなく教訓として捉えるポジティブな力と、継続という複利の力を信じています。
全体
69件 ∙ (12時間 19分)
講座資料(こうぎしりょう):
3. データチームの役割紹介
10:14
4. データインフラの紹介
15:37
5. データエンジニアの役割
16:22
6. データパイプラインの紹介
12:38
7. データシステムの例
05:02
8. Snowflakeの紹介
15:03
10. Snowflake環境に慣れる
13:58
11. Snowflake環境習得実習
06:45
全体
19件
4.9
19件の受講レビュー
受講レビュー 1
∙
平均評価 5.0
受講レビュー 56
∙
平均評価 4.8
受講レビュー 1
∙
平均評価 5.0
5
ついに完走しました!! 技術的にも多くのことを得ることができましたが、講師の方が時間をかけて説明してくださるデータエンジニアリングの全般的な概念が本当に有益でした。(セクション2の内容、データエンジニアリングの未来)これを通じて、パイプラインをどのように設計し、どんな技術スタックを選択すべきかについて大きなインサイトを得ることができました。また、講義の合間にデータエンジニアがすべき悩みについて言及されるのですが、そのような話が私は好きでした。 また、講義自体が実務的なチップと理論的な部分をバランスよく学べるように作られており、知っておくべきことはきちんと教えてくださり、残りは勉強する人に任せるような部分が良いと思いました。 良い講義をありがとうございます!!
温かい受講レビューありがとうございます。私が作成したデータ分析/活用という観点で作ったSQL講座もございます。4月初めまでにはSpark関連の講座も公開する予定ですので、そちらも後で一度ご確認ください。
はい!!Sparkの講義を待っている間、SQLの講義を聞いていればいいんですね!
受講レビュー 8
∙
平均評価 5.0
受講レビュー 3
∙
平均評価 5.0
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!
新規会員登録で25%OFF
¥12,655
25%
¥16,875