소개
안녕하세요. 저는 학부와 석사를 미국에서 나왔으며 전공은 각각 Computer Science, Data Science를 공부하였습니다. 현재 저는 Healthcare쪽 회사의 데이터 엔지니어로 일하고 있습니다. 매일 제가 하는 일을 간단하게 말씀드리자면; AWS와 Airflow를 사용하여 매일 데이터를 불러와 ETL과정을 거치며, 데이터가 잘 들어오는지 모니터링하면서 문제점 혹은 개선의 여지가 필요한 경우 프로그램을 구현하는 일을 하고 있습니다. 데이터 모니터링은 주로 AWS의 CloudWatch와 Splunk라는 프로그램을 사용하고 있습니다.현재 제가 회사에서 사용하고 있는 기술들은 Python, AWS, SQL 등등이며 최근에는 GCP로 Migration하고 있는 추이이며 AWS와 GCP를 동시에 접하고 있습니다.
2022년에는 회사에서 거의 80%의 데이터 및 파이프라인이 GCP로 Migration을 마쳤으며 Bigquery & GCS & GKE쪽을 심오하게 다루고 있습니다. 물론 Docker Container & Terraform사용으로 전반적인 IaC 작업도 병행해서 진행하고 있습니다.
데이터 엔지니어로 일하면서 가장 크게 느낀점은 다음과 같습니다. 매일 새로운 기술들의 등장으로 인해 지금 내가 사용하고 있는 기술들이 과연 obsolete해질까? 그렇다면 그 이유는 무엇인가? 정말 그 기술이 이걸로 대처될 수 있는가? 단점은 없는 것인가? 그렇습니다. 저 모든 질문들에 대한 답변을 찾는것은 매우 힘들어 보입니다. 그러나 그 과정을 겪으면서 한가지 공통점이 보였습니다. 깊게 들어가보면 거의 대동소이 하다는 것입니다. 다시 말해 하나를 제대로 파헤친다면 다른 기술을 배우는 것은 많이 용이해진다는 것이죠. 저는 이런 메카니즘을 강의에서도 종종 언급을 하고 싶습니다. 여러분들과 함께 제가 현재 가지고 있는 모든 지식들을 공유하고 싶습니다. 여러분들의 길잡이가 될 수 있도록 최선을 다하겠습니다.
저 사이먼킴은 여러분들께 재미있고 이해하기 쉬운 강의를 선보일꺼에요. 여러분들과 끊임없이 소통하면서 더 나은 사람이 될 것을 약속드리구요. 여러분들의 실력이 향상되는것을 지켜보는 것은 저의 큰 행복입니다.
집필저서: 업무에 바로 쓰는 AWS 입문
강의
전체4수강평
- 파이썬 기초를 배울 수 있는 유익한 강좌입니다
hwankyu.park
2024.03.28
0
- 최고의 강의 감사합니다
dhjin
2024.03.27
0
- 유익했습니다.
gyw8526
2024.03.24
0
게시글
질문&답변
2024.03.25
사용자 목록에서 root유저 보이지 않는 문제
띵똥님 안녕하세요. 루트유저로 로그인하셨는지 한번 더 확인해주세요^^ 혹시 루트유저로 로그인 후 새로운 유저를 생성하고 그 유저가 목록에서 보이지 않는지 확인해주세요. 감사합니다!
- 0
- 2
- 47
질문&답변
2024.03.25
S3 버킷 버전 관리
띵똥님 안녕하세요. 우선 버전관리를 활성화한다면 같은 파일을 업로드 하더라도 업로드된 시간이 다르기 때문에 같은 파일이어도 다른 버전으로 관리됩니다. (key, value, versionId, Metadata, CORS)가 모두 같은 파일은 없구요. Metadata에 파일의 업로드 시점에 따라 달라집니다. 버전관리를 하지 않으시면 업로드 시점을 무시하고 같은 파일로 간주됩니다. 같은 이미지, 다른 파일명 -> 다른 파일(맞습니다) 다른 이미지, 같은 파일명 -> 같은 파일로 인식되는 건가요? (버킷에 같은 파일명이 들어있는 두 파일이 존재할 수 없습니다. 다만 A.jpg(고양이사진)을 먼저 업로드하고 B.jpg(강아지사진)을 나중에 업로드하면 버전관리를 안한다면 고양이사진은 삭제가 되지만 버전관리를 하시면 버킷에 두 파일 모두 존재합니다. 추후 고양이사진을 원하신다면 이전 버전으로 롤백해서 사용할 수 있습니다. 도움이 되었으면 좋겠습니다^^
- 0
- 2
- 39
질문&답변
2024.02.22
nano /etc/my.cnf 관련 문의 드립니다.
안녕하세요. 혹시 저 명령어를 EC2안에 들어가셔서 돌리신건가요? 로컬PC라면 AWS 인스턴스가 아닌 카이님의 컴퓨터를 지칭하는 걸로 이해하는데 MySQL이 설치되어 있지 않다면 저 파일은 들어있지 않을 것이고 컨탠츠도 비어있을꺼에요. 저 명령어를 어디서 돌리셨는지 확인해주실 수 있나요? 감사합니다! :)
- 0
- 2
- 76
질문&답변
2024.02.16
KMS 실습 - 2부
안녕하세요! 방금 확인해본 결과 이또한 인터페이스의 변화로 인해 실습을 따라하시는데 혼동이 생기신거 같아요. KMS 실습 역시 업데이트 예정이니깐 잠시만 기다려주세요^^ 감사합니다!
- 0
- 1
- 41
질문&답변
2024.02.16
X-RAY 실습
안녕하세요! 방금 X-Ray 실습 영상이 업데이트 됐습니다. 기존 실습과는 다른내용이므로 참고해주세요^^ 감사합니다!
- 0
- 1
- 46