월 26,400원
5개월 할부 시
이유진2025-06-171617591아직 결제 전입니다만 수업 내용이 궁금하여 문의드립니다. 이론 수업이 아닌 데이터레이크 토이 프로젝트 느낌인 수업인가요..?
- 리나2025-03-241553343
파이썬으로 구성되어 있다고 했는데요. 나중에 강의 듣고 파이썬 코드를 자바 코드로 변환 할때 답변으로는 Spring boot 로 Kafka 관련 설정 전반의 지식이 필요하다고 말씀 해주셨습니다. 일단은 제가 다른 강의 통해 spring + kafka 연동 작업은 경험이 있어서요. 하지만 실제로 선생님께서 만들어주신 강의 코드를 직접 본것이 아니기 때문에 변환 작업 하는데 있어서 어느정도 양이 있고 kafka 설정에 있어서 어느정도 지식 기반이 필요한지 몰라서 다시 한번 질문 드립니다 :) spring boot 에서 kafka 연동 작업 및 그외 코드가 분명 많을 거라 생각하는데 대략적으로 양이 어느정도 될까요?... (질문이 조금 이상할수도 있겠네요.. 추상적으로 질문드린거라...)
김현진2025-03-25406037안녕하세요 리나님! 아마 변환하는데 어렵지는 않을거에요. 서울시 API (공공자전거 실시간 정보) 조회해서 그 내용을 produce 하는 내용이 포함돼있는데 내용이 어렵지는 않습니다. 파이썬 producer는 크게 서울시 API를 조회하는 코드 + 조회한 내용을 브로커로 전송하는 코드 정도해서 크게 2가지 모듈로 구성돼있습니다. 그 외 로그 설정하는 등 코드도 있긴 합니다만 크게 중요한 부분은 아니구요. spring + kafka 연동 경험이 있으시다면 변환하는데 필요한 작업량 자체는 많지 않을 듯해요. 코드는 github에 있어서 한번 보시겠어요? https://github.com/hjkim-sun/datalake-kafka-producer-season1 참고로 브랜치가 챕터별로 나뉘어져 있어서 브랜치를 가장 마지막 챕터로 놓고 보시면 전체 코드를 보실 수 있습니다.
- 우유소보루2025-03-231552069
안녕하세요, 제가 너무 고민이많은데요 저는 1년차 주니어 백엔드 개발자입니다. 회사에서 업무에따라 다르겠지만 커리어로 생각했을 때 백엔드 개발자가 들어도 좋은건가요?
김현진2025-03-24405864안녕하세요 우유소보루님! 먼저 취업 축하드립니다 ^^ 백엔드 개발자로서 고민이 많으시겠어요. 제 생각에 이 부분은 소보루님께서 데이터 쪽으로 커리어를 희망하시느냐에 달려있는 문제 같습니다. 만약 데이터 쪽으로 커리어를 잡고 나가겠다고 생각하신다면 많은 부분을 배워볼 기회가 될 거에요. 다만 spark 같은 경우 대용량 데이터 처리 직무가 아니라면 접해볼 기회는 잘 없을겁니다. 그래서 데이터 분야에 생각이 없다면 spark 은 써볼 일은 잘 없을 거고, 큰 도움이 되지 않을 수 있습니다. 하지만 데이터쪽으로 생각이 있으시다면 kafka & spark 은 꼭 배워놓으시길 추천드려요. 특히 대용량 데이터 처리 Framework들이 여러 가지 있는데 각 Framework별로 특징들이 다 있지만 분산/병렬 처리라는 점에서는 공통적일 수 밖에 없는 부분들이 있습니다. spark을 배워놓으시면 spark을 기준으로 여러 도구들의 비교 및 장단점을 파악하시기에도 유리할거에요. 그럼 도움이 되셨길 바라며 회사 생활도 화이팅입니다!
- 카롱2025-03-111541916
강사님 Airflow마스터 클래스를 정말 잘 들었던 수강생으로서, 강사님의 새로운 강의가 나왔다고 해서 많이 기대됩니다! 이번 강의도 저에게 많이 도움이 될 것 같습니다. 추가로, Iceberg를 다루는 강의도 관심있는데, 해당 강의는 Season2에 진행 예정이라고 소개해주시더라구요. Season2는 강의 일정이 언젠지 미리 알수 있을까요?
김현진2025-03-11403372안녕하세요 미요님! Airflow 강의를 잘 들어주셨다니 감사합니다 ^^ Season2는 26년에나 가능할 것 같습니다. 회사다니면서 짬짬이 만들다보니 오래 걸리기도 하고 Season2 전에 생성형 AI 관련해서 k8s 위에 운영할 수 있는 LLMops 강의를 먼저 만들어보고자 합니다. 그래서 시간이 좀 걸릴 것 같기는 합니다. 정확히 알려드리지 못하는 점 양해 부탁드립니다 ㅜㅜ
- 리나2025-03-071538378
안녕하세요. 우선 좋은 강의 만들어 주셔서 감사합니다. 질문이 있는데요! 1. CI/CD 경우 무중단 배포 통해 강의 해주시는건가요? 2. 파이썬 언어 베이스로 강의 해주셨는데 강의 듣고 나중에 제가 직접 스프링 부트로 직접 구성 할 수 있을까요? (엉뚱한 질문 일까요?ㅠㅠ 이쪽 분야를 제가 잘 몰라서 질문 드립니다 ㅠㅠ)
김현진2025-03-07402691안녕하세요 리나님! CI/CD를 통해서 배포되는 application은 총 3가지가 있는데 (1) Kafka Producer (2) Kafka Consumer (3) Spark Streaming 이 중에서 (1)은 Application 배포 후 Restart 해주는 로직까지 넣어 무중단 배포가 됩니다. 그러나 (2)하고 (3)은 무중단까지는 아니고 배포만 해주는 수준으로 작성했습니다. (계속 올려놓을 필요가 없어서) 그리고 파이썬 기반 강의를 들으신 후 Kafka Producer 또는 Consumer 작성시 Spring Boot로 작성하기에는 좀 어려울 수 있습니다. Kafka Broker & Producer & Consumer의 원리나 옵션은 제가 충분히 설명드립니다만(특히 Java에서의 옵션까지 모두 설명드립니다) Spring boot 자체가 알아야 할 개념들이 있어서 Spring Boot 로 작성하는 방법은 별도로 좀 공부하셔야 할거에요. 도움이 되셨을까요? ^^
안녕하세요 이유진님! 이 강의는 이론 수업은 별로 없습니다. 거의 다 실습 위주 강의에요. 데이터레이크 시스템은 많은 구성요소가 필요한데 이 강의에서는 파이프라인 구축에 초점을 맞추어 진행하는 강의입니다. 소개 강의를 보시면 아시겠지만 kafka + Spark Streaming 을 이용하는게 메인이 되겠구요, S3에 저장/쿼리, 모니터링, 가용성 테스트 등의 강의가 진행됩니다. 단순 파이프라인만 만들고 끝내는 강의가 아니라 Kafka와 Spark의 기본부터 고급 내용까지 모두 다루기 때문에 강의 내용이 좀 긴 편입니다. 그래서 이 강의를 듣고나시면 Kafka + Spark 활용한 데이터레이크의 파이프라인 구성에 대해서는 충분히 배우실 수 있습니다. 다만 데이터레이크의 기타 구성요소(데이터 품질, 포탈, 분석 플랫폼) 등은 다루지는 않습니다. 참고하세요 ^-^