シリコンバレーのリーダーが教えるビッグデータ処理(Spark)
keeyonghan
ビッグデータを処理するというのは、Pandasでデータを処理することと何が違うのでしょうか?ビッグデータ処理の必須フレームワークであるSparkについて学んでみましょうか?
초급
Apache Spark, pyspark, Pandas
AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家(元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授)から直接学んでみましょう。

AIrflow+Snowflake+Docker基盤のデータパイプライン構築
データ実務で今すぐ活用できる実践的なSQLとPythonスキル
学習対象は
誰でしょう?
データエンジニアとして働いている、または働きたい人
データ関連のパイプラインの仕事をしている、またはしたいと思っている人
データ関連業務/プロジェクトに興味がある人
前提知識、
必要でしょうか?
Python (初級)
SQL (初級)
1,064
受講生
69
受講レビュー
41
回答
4.9
講座評価
5
講座
コンピューター工学の修士課程修了後、サムスン電子で始まったキャリアが友人の勧めでシリコンバレーへと繋がり、過去29年間で13社の様々なステージの企業(起業、大企業、多数のスタートアップ)を渡り歩いてきました。
Yahoo: エンジニアリングディレクターとして検索エンジンを開発。
Udemy。データチームをゼロから立ち上げ30名規模まで成長させ、2021年10月にナス닥(Nasdaq)上場。
サムスン電子
...
途中で11ヶ月間休んでみたり、図らずもエンジェル投資家(Chartmetric、Goodtime.io、Select Star、EO、Business Canvasなど)、アドバイザー(Moloco、Blind、Wolgeupjaengi Bujadeulなど)、コンサルティング(SKテレコム、現代カード、Eマートなど)などの役割を担いながら、自分自身のブランドを築いてきました。失敗を失敗ではなく教訓として捉えるポジティブな力と、継続という複利の力を信じています。
全体
68件 ∙ (12時間 4分)
講座資料(こうぎしりょう):
3. データチームの役割紹介
10:14
4. データインフラ紹介
15:37
5. データエンジニアの役割
16:22
6. データパイプライン紹介
12:38
7. データシステム例
05:02
8. Snowflake 紹介
15:03
10. Snowflake環境を学ぶ
13:58
全体
13件
4.9
13件の受講レビュー
受講レビュー 1
∙
平均評価 5.0
5
ついに完走しました!! 技術的にも多くのことを得ることができましたが、講師の方が時間をかけて説明してくださるデータエンジニアリングの全般的な概念が本当に有益でした。(セクション2の内容、データエンジニアリングの未来)これを通じて、パイプラインをどのように設計し、どんな技術スタックを選択すべきかについて大きなインサイトを得ることができました。また、講義の合間にデータエンジニアがすべき悩みについて言及されるのですが、そのような話が私は好きでした。 また、講義自体が実務的なチップと理論的な部分をバランスよく学べるように作られており、知っておくべきことはきちんと教えてくださり、残りは勉強する人に任せるような部分が良いと思いました。 良い講義をありがとうございます!!
温かい受講レビューありがとうございます。私が作成したデータ分析/活用という観点で作ったSQL講座もございます。4月初めまでにはSpark関連の講座も公開する予定ですので、そちらも後で一度ご確認ください。
はい!!Sparkの講義を待っている間、SQLの講義を聞いていればいいんですね!
受講レビュー 3
∙
平均評価 5.0
受講レビュー 8
∙
平均評価 5.0
受講レビュー 1
∙
平均評価 5.0
受講レビュー 111
∙
平均評価 4.9
¥16,215
知識共有者の他の講座を見てみましょう!
同じ分野の他の講座を見てみましょう!