개선을 위해 항상 고민하고 기록하는 데이터 엔지니어 정상완 입니다.

데이터 통합 관리 솔루션 개발자로 시작해서 데이터 엔지니어로 일하며 데이터 관련 일을 하고 있습니다.

Kafka, Kubernetes, Airflow를 중심으로 한 데이터 플랫폼 운영 업무를 하고 있습니다. Kafka 및 Kubernetes Cluster 구축 프로젝트에 참여하여 구축에 필요한 인프라 구성에 대해 경험할 수 있었습니다.

개발자에게 글쓰기가 최고의 무기 중 하나라고 생각합니다. 기록을 통해 개발 능력을 성장시킨다고 생각합니다. 개발자 글쓰기 커뮤니티에 참여하여 꾸준한 글쓰기 습관을 유지하려고 노력하고 있으며 개인 개발 블로그도 운영하고 있습니다.

• Kafka Cluster 구축 및 Kafka 중심의 Data Pipeline 운영

• 폐쇄망에서 Kubernetes Cluster 구축 및 운영(Trino, JupyterHub, Airflow 등)

• Airflow 운영 및 Workflow 관리

• Prometheus와 Garafana를 통한 Dashboard 구성, 모니터링

• Java Spring 기반 Web Application 개발