MMIX
@csj40327886
Lead 레벨·
데이터 엔지니어
수강생
-
수강평
-
강의 평점
-
멘토링 신청
1
멘토링 리뷰
-
멘토링 평점
-
17년 동안 개발 현장에서 다양한 시행착오를 겪어온 개발자입니다.
현재는 데이터 엔지니어로서 실무 중심의 데이터 파이프라인과 분산 시스템을 설계·운영하고 있으며,
AWS SageMaker, MSK, MWAA, Glue, Athena를 비롯해 GCP(BigQuery), Snowflake, Databricks 등 다양한 데이터 플랫폼 환경에서의 실무 경험을 보유하고 있습니다.
이론보다는 현업에서 바로 써먹을 수 있는 방향의 실전 멘토링을 목표로 하고 있습니다.
Github :
Kakao Opne Chat : https://open.kakao.com/o/sskdxxGf
아래는 표를 목록으로 변경한 수정본입니다:
👋🏼 안녕하세요, 반갑습니다!
안녕하세요! 현업에서 데이터 엔지니어로 일하고 있습니다.
AWS와 GCP 환경에서 데이터 파이프라인을 설계하고 운영하고 있으며, 데이터 플랫폼 전환, 실시간 스트리밍 파이프라인 구축, ML 인프라 자동화 등 다양한 프로젝트를 경험했습니다.
현업에서 AWS SageMaker, MSK, MWAA, Glue, Athena와 GCP BigQuery, 그리고 Snowflake, Databricks 등 다양한 데이터 플랫폼을 직접 활용하며 실무 경험을 쌓아왔습니다.
데이터 엔지니어링을 시작하면서 겪었던 시행착오와 고민들을 나누고, 여러분의 성장에 조금이나마 도움이 되고 싶어 멘토링을 시작하게 되었습니다.
🔎 멘토링 가능 분야
로컬 개발 환경 구축 & 실습
- Docker를 활용한 Airflow 로컬 환경 구축 및 DAG 작성 실습
- Docker 기반 Spark 클러스터 구성 및 데이터 처리 실습
- MySQL 컨테이너 환경 구축 및 파이프라인 연동 실습
- 로컬에서 End-to-End 데이터 파이프라인 구현해보기
실습 프로젝트 예시
- 검색 엔진 파이프라인: MySQL → Spark 데이터 가공 → Elasticsearch 인덱싱
- 클라우드 연동 파이프라인: S3 → Airflow 데이터 가공 → Google Drive 업로드
- 뉴스 수집 파이프라인: Google Drive 키워드 파일 → 네이버 뉴스 크롤링 → MySQL 저장
- Spark 품질 모니터링: Deequ 품질 검증 → Grafana 대시보드 연동
- Airflow 품질 모니터링: Great Expectations 검증 → Grafana 대시보드 연동
🛠️ 실습을 통해 실무에서 자주 사용하는 기술 스택을 직접 경험하고, End-to-End 파이프라인 구축 역량을 키울 수 있습니다.
데이터 파이프라인 & ETL
- Airflow(MWAA) DAG 작성 및 운영 노하우
- Spark, EMR을 활용한 대용량 데이터 처리
- 실시간 파이프라인 설계 (Kafka/MSK, Spark Streaming)
클라우드 인프라
- AWS 데이터 서비스 (SageMaker, MSK, MWAA, Glue, Athena, EMR)
- GCP 데이터 서비스 (BigQuery, Looker)
- Snowflake 데이터 웨어하우스 구축 및 운영
- Databricks 레이크하우스 아키텍처 및 데이터 처리
데이터 품질 & 거버넌스
- 데이터 품질 검증 (Great Expectations, Deequ)
- 메타데이터 관리 (DataHub)
- DBT를 활용한 분석 워크플로우
커리어 상담
- 데이터 엔지니어 커리어 로드맵
- 이직 준비 및 포트폴리오 구성
- 현업에서의 실무 경험 공유
💡 시간이 한정적이므로 처음부터 끝까지 함께 구현하는 방식보다는, 막히는 부분이나 궁금한 점 위주로 질문을 받아 진행합니다.
🏃🏻♀️ 진행 방식
오프라인 1:1 대면 멘토링
- 카페 또는 스터디룸에서 직접 만나 진행합니다
- 장소는 협의 후 결정하며, 예약 확정 시 상세 위치를 안내드립니다
- 실습이 필요한 경우 노트북을 지참해주세요
원활한 진행을 위해
- 노트북 충전기를 꼭 챙겨주세요
- 실습 진행 시 사전에 Docker 설치 여부를 확인해주시면 좋습니다
- Github, Notion 계정 생성 및 전달해주세요
📚 멘토링 전 준비사항
필수 준비물
- 질문하고 싶은 내용을 미리 정리한 리스트
- 노트북 (실습 진행 시)
실습 진행 시
- MacBook 권장 (최소 RAM 8GB 이상, 16GB 권장)
- Docker Desktop 설치
- IntelliJ 또는 선호하는 에디터
- 터미널 사용 가능한 환경
💻 Windows 노트북도 가능하지만, 실습 환경 세팅 및 트러블슈팅이 MacBook 기준으로 진행되므로 MacBook을 권장드립니다.
기술 관련 질문 시
- 관련 코드나 에러 메시지 캡처
- 현재 아키텍처나 상황을 간략히 정리한 문서
커리어 상담 시
- 현재 상황과 고민 포인트 정리
- 이력서나 포트폴리오 (선택사항)
💬 이런 분들 환영합니다
- 데이터 엔지니어링을 시작하고 싶은데 어디서부터 해야 할지 모르겠는 분
- 로컬에서 직접 파이프라인을 구축해보며 실습하고 싶은 분
- 강의나 책으로 공부했는데 실무에서 어떻게 적용하는지 궁금한 분
- 파이프라인 설계나 클라우드 아키텍처에 대해 현업자의 의견이 필요한 분
- 데이터 엔지니어로의 커리어 전환을 고민하고 계신 분
1:1 대면 멘토링은 짧은 시간에도 많은 것을 얻어가실 수 있습니다. 편하게 질문하시고, 함께 고민 나눠보아요! 🚀




