소개
안녕하세요. 저는 학부와 석사를 미국에서 나왔으며 전공은 각각 Computer Science, Data Science를 공부하였습니다. 현재 저는 Healthcare쪽 회사의 데이터 엔지니어로 일하고 있습니다. 매일 제가 하는 일을 간단하게 말씀드리자면; AWS와 Airflow를 사용하여 매일 데이터를 불러와 ETL과정을 거치며, 데이터가 잘 들어오는지 모니터링하면서 문제점 혹은 개선의 여지가 필요한 경우 프로그램을 구현하는 일을 하고 있습니다. 데이터 모니터링은 주로 AWS의 CloudWatch와 Splunk라는 프로그램을 사용하고 있습니다.현재 제가 회사에서 사용하고 있는 기술들은 Python, AWS, SQL 등등이며 최근에는 GCP로 Migration하고 있는 추이이며 AWS와 GCP를 동시에 접하고 있습니다.
2022년에는 회사에서 거의 80%의 데이터 및 파이프라인이 GCP로 Migration을 마쳤으며 Bigquery & GCS & GKE쪽을 심오하게 다루고 있습니다. 물론 Docker Container & Terraform사용으로 전반적인 IaC 작업도 병행해서 진행하고 있습니다.
데이터 엔지니어로 일하면서 가장 크게 느낀점은 다음과 같습니다. 매일 새로운 기술들의 등장으로 인해 지금 내가 사용하고 있는 기술들이 과연 obsolete해질까? 그렇다면 그 이유는 무엇인가? 정말 그 기술이 이걸로 대처될 수 있는가? 단점은 없는 것인가? 그렇습니다. 저 모든 질문들에 대한 답변을 찾는것은 매우 힘들어 보입니다. 그러나 그 과정을 겪으면서 한가지 공통점이 보였습니다. 깊게 들어가보면 거의 대동소이 하다는 것입니다. 다시 말해 하나를 제대로 파헤친다면 다른 기술을 배우는 것은 많이 용이해진다는 것이죠. 저는 이런 메카니즘을 강의에서도 종종 언급을 하고 싶습니다. 여러분들과 함께 제가 현재 가지고 있는 모든 지식들을 공유하고 싶습니다. 여러분들의 길잡이가 될 수 있도록 최선을 다하겠습니다.
저 사이먼킴은 여러분들께 재미있고 이해하기 쉬운 강의를 선보일꺼에요. 여러분들과 끊임없이 소통하면서 더 나은 사람이 될 것을 약속드리구요. 여러분들의 실력이 향상되는것을 지켜보는 것은 저의 큰 행복입니다.
집필저서: 업무에 바로 쓰는 AWS 입문
강의
전체4수강평
게시글
질문&답변
2024.04.22
에필로그 완강처리가 안됩니다.
안녕하세요. 모든 과목을 수강했다면 옆에 체크가 표시될텐데 하나라도 빠지지 않았을까요? 진도율이 100%라고 뜨나요? 그부분은 제가 도와드릴 수 없고 인프런에 따로 연락을 드려봐야 할 꺼 같아요. 버그일 수도 있다는 생각이 듭니다. 감사합니다!
- 0
- 1
- 35
질문&답변
2024.04.15
boot volume 및 Magnetic 사용 유무
SHYU님 안녕하세요. 답변을 드리기 앞서 boot volume을 꼭 사용하셔야 하는 이유가 OS를 구축하기 위해 JVM 사용을 위한 것인지요? SSD 볼륨은 모두 boot volume기능을 제공하고 가격적인 측면에서는 General Purpose가 훨씬 저렴하니 이 부분을 고려해보시는건 어떨까요? 아무래도 SSD가 더 read throughput이 높으므로 성능면에서는 뛰어나지 않을까요? 물론 비용 측면도 고려해야겠지만요 😅 감사합니다!
- 0
- 2
- 56
질문&답변
2024.04.13
vi index.html 이후 아무런 반응이 없습니다.
안녕하세요. Vim을 쓰시는군요. 텍스트 에디터로 들어가신 후 i 를 누르면 편집이 가능합니다. 편집을 마치고 저장 후 종료하려면 ESC +: + x + ENTER 이 순서대로 눌러주시면 됩니다. 그럼 콘솔로 다시 돌아갑니다. 감사합니다 :)
- 0
- 1
- 54
질문&답변
2024.03.25
사용자 목록에서 root유저 보이지 않는 문제
띵똥님 안녕하세요. 루트유저로 로그인하셨는지 한번 더 확인해주세요^^ 혹시 루트유저로 로그인 후 새로운 유저를 생성하고 그 유저가 목록에서 보이지 않는지 확인해주세요. 감사합니다!
- 0
- 2
- 97
질문&답변
2024.03.25
S3 버킷 버전 관리
띵똥님 안녕하세요. 우선 버전관리를 활성화한다면 같은 파일을 업로드 하더라도 업로드된 시간이 다르기 때문에 같은 파일이어도 다른 버전으로 관리됩니다. (key, value, versionId, Metadata, CORS)가 모두 같은 파일은 없구요. Metadata에 파일의 업로드 시점에 따라 달라집니다. 버전관리를 하지 않으시면 업로드 시점을 무시하고 같은 파일로 간주됩니다. 같은 이미지, 다른 파일명 -> 다른 파일(맞습니다) 다른 이미지, 같은 파일명 -> 같은 파일로 인식되는 건가요? (버킷에 같은 파일명이 들어있는 두 파일이 존재할 수 없습니다. 다만 A.jpg(고양이사진)을 먼저 업로드하고 B.jpg(강아지사진)을 나중에 업로드하면 버전관리를 안한다면 고양이사진은 삭제가 되지만 버전관리를 하시면 버킷에 두 파일 모두 존재합니다. 추후 고양이사진을 원하신다면 이전 버전으로 롤백해서 사용할 수 있습니다. 도움이 되었으면 좋겠습니다^^
- 0
- 2
- 103