こんにちは。私はアメリカの大学と大学院を卒業し、専攻はそれぞれコンピュータサイエンスとデータサイエンスを学びました。現在はヘルスケア関連の企業でデータエンジニアとして働いています。日々の業務を簡単に説明しますと、AWSとAirflowを使用して毎日データを読み込み、ETLプロセスを実行しています。また、データが正常に取り込まれているかをモニタリングし、問題点や改善の余地がある場合にはプログラムを実装する業務を担当しています。データのモニタリングには、主にAWSのCloudWatchやSplunkというプログラムを使用しています。現在、業務で使用している技術はPython、AWS、SQLなどですが、最近はGCPへのマイグレーションを進めている段階であり、AWSとGCPの両方に携わっています。
2022年には、社内のデータおよびパイプラインの約80%がGCPへの移行を完了しており、BigQuery、GCS、GKEを深く扱っています。もちろん、DockerコンテナやTerraformを使用し、全般的なIaC作業も並行して進めています。
データエンジニアとして働きながら最も強く感じたことは次の通りです。毎日新しい技術が登場する中で、「今自分が使っている技術は果たして廃れてしまうのか?」「もしそうなら、その理由は何なのか?」「本当にその技術はこれで代替できるのか?」「デメリットはないのか?」そうです。これらすべての問いに対する答えを見つけるのは非常に困難に見えます。しかし、その過程を経て一つの共通点が見えてきました。深く掘り下げてみると、どれもほとんど大同小異だということです。言い換えれば、一つを徹底的に突き詰めれば、他の技術を学ぶことは非常に容易になるということです。私はこのようなメカニズムを講義でも度々お伝えしたいと思っています。皆さんと一緒に、私が現在持っているすべての知識を共有したいです。皆さんの道しるべになれるよう、最善を尽くします。
私サイモン・キムは、皆さんに楽しくて分かりやすい講義をお届けします。皆さんと絶えずコミュニケーションを図りながら、より良い人間になることをお約束します。皆さんの実力が向上していくのを見守ることは、私にとって大きな幸せです。