176만명의 커뮤니티!! 함께 토론해봐요.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요. 현재 스냅드래곤 (arm64 windows)사용 유저인데 이 화면에서 아에 안됩니다. 일단 설정에 IDE이라는것이 존재하지 않고 추가하려고 해도 목록에 없습니다. 재설치를 2번을 해봤는데도 안되네요ㅠ edit) 찾아보니 virtual box arm64 on windows에서 비슷문제가 발생하고 vmware도 arm64 on windows를 지원을 안한다고 하네요. 강의 자료를 다운받은 상태라 환불도 불가능한 상태입니다만 혹시 환불이 가능할까요..?
미해결
Kafka & Spark 활용한 Realtime Datalake
39강 consumer 배포환경 구축 강의에서 파이참 25.3.4 버전에서 프로젝트 생성시 name 항목이 없습니다. ai 에 물어보니 폴더명이 프로젝트 명이라고 나옵니다. producer 와 consumer 프로젝트가 공유되는 부분이 있어 한 폴더에 만들라고 했을텐데 어떻게 회피하면 될까요?? 더 낮은 버전으로 내려야 하나요??
미해결
15일간의 빅데이터 파일럿 프로젝트
주제영역3 데이타 조회 문의 입니다. 저는 쿼리문장을 날리면 건수가 10개만 조회가됩니다. managed_smartcar_drive_info 테이블를 전체데이타 건수는 43000건 정도나옵니다. 주제영역4는 실행하면 33건이 나오고있습니다. 질문은 주제영역3는 결과가 94건인데.. 저는 10건이라서 제가 어떤 부분을 잘못한건지? 아니면 저사향이고 랜덤으로 자바파일 로그 데이타 생성이므로 문제가 없는 건지 질문드립니다. 또한 , 10건이여도 7장이후 분석에서 문제가 없는지 질문합니다.
해결됨
실전에서 바로 써먹는 Kafka 입문
강사님, 안녕하세요. 강의 잘 듣고 있습니다~! 2. Kafka 설치 파일 다운받기에서 현재기준 카프카 4.0.0 다운로드 주소가 변경된 것 같습니다! EC2에서 아래와 같이 입력하시면 다운로드가 잘됨을 확인할 수 있었습니다. 감사합니다 wget https://archive.apache.org/dist/kafka/4.0.0/kafka_2.13-4.0.0.tgz
미해결
카프카 완벽 가이드 - 코어편
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 카프카 서버 구축에서 오라클 버추얼 박스 대신에 도커로 카프카 서버를 구축해도 되는지 궁금합니다.
미해결
실전에서 바로 써먹는 Kafka 입문
말씀해주신 것처럼 컨슈머 로직 안에 로그를 디비로 저장하는 부분이 비동기 처리를 하기 위해 kafka를 도입하는 것과 상충하지 않는지 의문입니다. @Service public class UserSignedUpEventConsumer { private EmailLogRepository emailLogRepository; public UserSignedUpEventConsumer(EmailLogRepository emailLogRepository) { this.emailLogRepository = emailLogRepository; } @KafkaListener( topics = "user.signed-up", groupId = "email-service", concurrency = "3" ) @RetryableTopic( attempts = "5", backoff = @Backoff(delay = 1000, multiplier = 2), dltTopicSuffix = ".dlt" ) public void consume(String message) throws InterruptedException { UserSignedUpEvent userSignedUpEvent = UserSignedUpEvent.fromJson(message); String receiverEmail = userSignedUpEvent.getEmail(); String subject = userSignedUpEvent.getName() + "님, 회원 가입을 축하드립니다!"; Thread.sleep(3000); System.out.println("이메일 발송 완료"); EmailLog emailLog = new EmailLog( userSignedUpEvent.getUserId(), receiverEmail, subject ); emailLogRepository.save(emailLog); } } 이 부분을 실무레벨에서 해결한다면 어떤 방법이 있는지 궁금합니다.
해결됨
비전공자도 이해할 수 있는 MSA 입문/실전 (feat. Spring Boot)
안녕하세요. 언제나 좋은 강의 만들어주셔서 감사합니다. 강의에서 MSA는 서비스별로 DB를 구축하는 것으로 설명해주셨는데요. 이 경우, 서비스 수가 늘어날수록 데이터베이스도 함께 증가하게 되어 고정비용이 기하급수적으로 늘어날 것 같습니다. 실제로 기업에서 사용하는 MSA 구조에서도 이와 같이 서비스별로 별도의 데이터베이스를 구축하는지 궁금합니다.
미해결
비전공자도 이해할 수 있는 MSA 입문/실전 (feat. Spring Boot)
Microservice 에 DB 를 띄우게 될때 DB 를 여러대 띄우는것 같은데 저렇게 하지않고 하나의 DB 를 띄우고 스키마로 분리하는 경우도 있나요 ?? 너무 낭비가 되지 않나 ?? 생각도 들어서요
미해결
비전공자도 이해할 수 있는 MSA 입문/실전 (feat. Spring Boot)
안녕하세요 강의 잘 듣고있습니다. MSA 프로젝트 요구사항 및 설계 부분에서 모놀로식으로 설계하게 될때는 FK 를 걸지만 MSA 에서는 DB가 독립적으로 분리되어 있어서 FK 를 걸 수 없을것 같습니다 . Application 단에서도 하지않나요 ?? 예를들어서 @ManyToOne user: User;
미해결
Kafka & Spark 활용한 Realtime Datalake
안녕하세요! 강의 들으면서 poll_consumer를 1개 > 2개로 늘려보았습니다 실습을 해보니 강의 화면에서 보여지는 것 처럼 consumer가 모든 파티션을 읽지않더라구요 (consumer 개수를 1 ~ 3개까지 변경해보아도 모든 파티션을 읽지 않습니다) 컨슈머가 모든 파티션을 읽지 않는 이유가 있을까요?
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
선생님 kafka 업데이트 강의 듣고 싶어요 ♥
미해결
Kafka & Spark 활용한 Realtime Datalake
안녕하세요~ 람다 아키텍처에서 speed layer 부분에 궁금한 점이 생겨 질문드립니다! Q1. speed layer는 어딘가에 저장이 된 후에 serving layer에서 보여지는건지 궁금합니다 저장이 된 결과가 보여지는 거라면 serving layer에서 전 날의 결과도 같이 보여지게 되는걸까요? 아니면 별도의 설정 같은 걸로 전 날 데이터는 삭제가 되는걸까요? Q2. speed layer에서 보여진 데이터가 다음 날에는 batch layer에 들어갈텐데 데이터 중복은 어떻게 처리할 수 있나요? 감사합니다!
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 prod 이후 long-end-offset은 늘어났지만 lag이 줄어들지 않는데 이런경우 어떻게 처리해야하나요?
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
강의 교안 지금은 받을수있을까요
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요. 게시판 관련 강의를 듣는 도중 궁금한 점이 있어 질문을 남깁니다. 강의에서는 Snowflake 기반 단순 정렬을 기준으로 커버링 인덱스를 설명해주셨는데요, 실무에서는 여러 정렬 조건과 필터, 검색 조건이 함께 붙는 경우가 많습니다. ✅ 이런 복합적인 조회 패턴에서도 커버링 인덱스를 중심으로 설계하는 것이 적절한지, 아니면 다른 전략을 어떻게 사용해야 하는지 궁금합니다.(설명이 길어질 경우 간단한 힌트라도 부탁드립니다.) 💥 걱정하는 부분 정렬되는 컬럼 전부에 대해 인덱스를 걸면 더 문제가 발생할 것 같아요. 검색 %검색어% 의 경우에는 결국엔 full_scan 이어서 성능 최적화가 불가능하다.
해결됨
카카오 면접관과 함께하는 워크플로우 기반의 대용량 트래픽 처리 기법
Debezium이 데이터베이스 트랜잭션 로그(binlog, WAL 등)를 읽어서 변경사항을 Kafka로 발행한다는 것은 이해했습니다. 그런데 혼란스러운 부분이.... 일반적인 CRUD API 요청도 결국 DB에 변경을 가하는데, Debezium이 이를 어떻게 구분하는지 궁금합니다. 예를 들어 주문 생성 API → DB INSERT → 이건 CDC 이벤트로 발행해야 함 사용자 세션 저장 API → DB INSERT → 이건 CDC 불필요 이런 경우에는 어떻게 구분되나요?
미해결
MSA 아키텍처에 사용되는 Gateway 패턴 구현하기
15. 포멧팅 형식을 따르는 yaml 잓겅 및 client 코드에서 사용 되는 app.js 파일은 어디서 받을수 있을까요?
해결됨
실전에서 바로 써먹는 Kafka 입문
강사님, 안녕하세요. 강의 잘듣고 있습니다! 실습을 하고 있는데 궁금한 점이 있어서 글을 남깁니다. 혹시 파티션 중 리더 replica를 선출하는 규칙이 있는지 궁금합니다. 예를들면 파티션에 1,2,3 번 replica가 있었고 리더였던 1번 replica가 중단됐을 경우 2번, 3번 replica 중 어떤 것이 리더가 되는지 궁금합니다. 시간되실때 답변 꼭 부탁드립니다. 감사합니다!
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
유저서비스에서 주문서비스로 주문 목록을 rest api 로 요청을 보내는데, 주문 서비스에서 주문 목록에 대한 api 는 유저서비스 의 IP만 접근하도록 방어 처리도 따로 필요 한가요 ??
미해결
Kafka & Spark 활용한 Realtime Datalake
아키텍처 설계 부분에서 궁금한 점이 있어 질문드립니다. 일반적으로 원천 → 수집 → 저장 → 처리 → 제공 → 활용 의 흐름으로 데이터 아키텍처를 설명해주셨는데, 이 중 원천 에 해당하는 부분에서 조금 헷갈리는 지점이 있습니다. 이전 강의에서 DW, DL, Lakehouse를 구축할 때 원천 데이터를 가져와 별도의 저장소에 다시 저장하며, 이 과정에서 데이터가 중복될 수 있고 그 중복이 필요한 이유에 대해서도 설명해주셨던 것으로 이해했습니다. 그래서 제가 이해한 내용을 예시로 확인하고 싶습니다. 예를 들어, 사내에 어떤 제품이 있고 해당 제품의 백엔드 서버가 RDB를 사용하며 서비스 데이터가 그 RDB에 저장되고 있다고 가정했을 때, DW, DL, Lakehouse를 구축하는 관점에서는 이 서비스용 RDB 자체가 raw data source(원천 데이터) 가 되고, 이 RDB로부터 데이터를 수집하여 DW, DL, Lakehouse 등에 다시 적재하는 구조로 이해했는데 이렇게 이해하는 것이 맞을지 궁금합니다.
