묻고 답해요
161만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
무한 depth 설계에 path enumeration 방식을 선택한 이유?
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.안녕하세요 무한 depth는 이전 강의에 소개된 adjency list로도 구현이 가능하고 또 adjacency list, path enumeration 방법 외에도 nested set, closure table 방법도 있는 걸로 알고 있습니다. path enumeration 방법을 선택한 이유가 따로 있을까요??
-
미해결카프카 완벽 가이드 - 코어편
acks 1 이면 비동기가 아니지 않나요?!
제가 공부하다가 든 의문에 대해서 자문자답?을 해봤습니다!혹시 제가 잘못 이해하거나 틀린 개념이 있다면 알려주실 수 있을까요?나의 의문! 비동기 전송할 때, acks = 1 설정이면 Producer는 Leader broker가 메시지 A를 정상적으로 받았는지에 대한 ==Ack 메시지를 받은 후 다음 메시지인 메시지 B를 바로 전송==. 이러면 async 전송이 아닌거 아니야?내 생각어디까지 비동기 처리인지에 대한 경계가 불분명해서 생긴 오해!!1. Main Thread (producer.send() 호출하는 thread) for (seq in 0..19) { producer.send(topic, seq, record) }메인 스레드는 blocking 없이 연속적으로 메시지 전송! -> 비동기 전송!producer 내부[main thread] -> [RecordAccumulator] -> [sender thread] -> [broker]RecordAccumulator는 메시지들을 버퍼링하고 배치로 모음2. sender thread 동작 (acks 1 기준)0번 메시지 전송 -> ack 대기 -> ack 수신 완료1번 메시지 전송 -> ack 대기 -> ack 수신 완료...sender thread는 이젠 메시지의 ack를 받을 때가지 다음 메시지를 보내지 않는다하지만 main thread는 이와 무관하게 계속해서 메시지를 RecordAccumulator에 추가할 수 있다! 결론 main thread 입장에서는 메시지 응답을 기다리지 않고 계속 보낼 수 있으니까 비동기 전송 -> 메시지는 batch에 차곡차곡 쌓임실제 메시지를 전송하는 sender thread는 acks 1 설정으로 leader broker가 보낸 ack를 수신해야 다음 메시지 전송 이렇게 이해했는데 제가 이해한게 맞을까요,,,?
-
해결됨Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
config 파일 암호화
yml의 설정 내용을 암호화하는 작업중에 궁금한 점이 있습니다. 암호화해도 http://config server주소/config파일명/프로파일 경로로 접속하면 해독된 값을 볼 수 있는데 이러면 암호화한 의미가 있는지 궁금합니다config 서버에서 http://config server주소/config파일명/프로파일 경로를 비활성화하는 방법이 있을까요?그리고 비대칭키에서 암호화에 사용하는 password는 평문으로 yml에 저장하고 있는데 이러면 반쪽짜리(?) 암호화일 것 같은데 이렇게 사용해도 되는건지가 궁금합니다
-
미해결Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
유레카 서버가 종료된상태에서 질문
안녕하세요유레카 서버가 종료된경우클라이언트에서 연결오류 관련 에러로그가 많이 뜨더라구요운영 환경에서 클라이언트앱 쪽에 이런 로그가 너무 많이 발생하는것은 지저분해보여서 간단하게 한줄짜리 커스텀로그로 대체하고싶은데 방법이 있을까요?
-
미해결카프카 완벽 가이드 - 코어편
Producer의 메시지 비동기화 전송 구현 강좌 내용 중 질문
안녕하세요뒷 강의에서 뭔가 말씀해주실것같긴한데성급해서 먼저 질문드립니다. 동기, 비동기 발송 시 설정한 ack 모드(1 혹은 -1)에 따라 Exception이 발생하면 send thread에서 재전송을 한다고 말씀해주셨는데요 강의 중 작성해주신 아래 코드에서 else부분에서 error 처리(캐치)부분을 넣는것과 별개로재전송은 따로 이루어진다 라고 이해하면될까요? // KafkaProducer message send kafkaProducer.send(producerRecord, (metadata, exception) -> { if(exception == null) { // 로그출력부분 } else { // 에러 처리부분 logger.error("exception error from broker" + exception.getMessage()); } });
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
카프카 설치 오류
카프카 설치 과정에서 뭔가 오류가 발생한거 같은데 해결이 어려워 글 남겨봅니다. 2025-02-05 20:04:47 ===> User2025-02-05 20:04:47 uid=1000(appuser) gid=1000(appuser) groups=1000(appuser)2025-02-05 20:04:47 ===> Setting default values of environment variables if not already set.2025-02-05 20:04:47 CLUSTER_ID not set. Setting it to default value: "5L6g3nShT-eMCtK--X86sw"2025-02-05 20:04:47 ===> Configuring ...2025-02-05 20:04:47 ===> Launching ... 2025-02-05 20:04:47 ===> Using provided cluster id 5L6g3nShT-eMCtK--X86sw ...2025-02-05 20:04:47 # # A fatal error has been detected by the Java Runtime Environment: # # SIGILL (0x4) at pc=0x0000ffff9513fc5c, pid=13, tid=390 # # JRE version: (21.0.4+7) (build ) # Java VM: OpenJDK 64-Bit Server VM (21.0.4+7-LTS, mixed mode, sharing, tiered, compressed oops, compressed class ptrs, g1 gc, linux-aarch64) # Problematic frame: # j java.lang.System.registerNatives()V+0 java.base # # No core dump will be written. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again # # An error report file with more information is saved as: # /tmp/hs_err_pid13.log [0.016s][warning][os] Loading hsdis library failed # # The crash happened outside the Java Virtual Machine in native code. # See problematic frame for where to report the bug. # 오류 로그는 이렇구요.대강.. 자바 버전? 제 로컬환경과 뭔가 문제가 있는거 같은데.. 맥미니 M4 이구,java -versionopenjdk version "21.0.5" 2024-10-15OpenJDK Runtime Environment Homebrew (build 21.0.5)OpenJDK 64-Bit Server VM Homebrew (build 21.0.5, mixed mode, sharing) 검색해보니 M4에서만 일어나는 문제인거 같기도 하고.. sve 라는 옵션을 꺼보래서docker run -d --name kuke-board-kafka -p 9092:9092 -e FAFKA_JVM_PERFORMANCE_OPTS="-XX:UseSVE=0" apache/kafka:3.8.0 이런식으로 설치 해봤는데 마찬가지네요.뭘 시도해봐야할지 도움 좀 부탁드립니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
강의 완강 후 다시 듣는 중, 배포 도전...?
만들어진 게시판을 간단하게 배포를 하려면 어떤 순서로 하는 것이 좋을까요? 직접 배포를 해보고 데이터의 이동 흐름을 보고 싶어서요. GPT 선생님은 아래와 같이 하라고 하는데, 선생님께서 생각하는 간단한 방법이 있는지 궁금합니더... 🚀 간단한 배포 방법Docker Compose 파일 작성 (docker-compose.yml)애플리케이션 컨테이너화 (Dockerfile)서버(배포 환경)에서 실행1⃣ docker-compose.yml을 작성해서 모든 서비스(MySQL, Redis, Kafka, App)를 한 번에 실행2⃣ Dockerfile을 작성해서 애플리케이션을 컨테이너화3⃣ 서버에서 docker-compose up -d --build 실행으로 배포 완료
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
Error: Could not find or load main class ArticleApplication
안녕하세요. 스프링부트 프로젝트 세팅 중 계속해서 같은 예외가 발생해 문의드립니다.해당 예외 발생 관련해 검색해서 Settings, Project Structure의 버전도 확인하였고, 혹시 build.gradle에서 문제가 있는건가 싶어 강사님의 build.gradle 파일을 복사해서 재빌드 해보았지만 계속 같은 예외가 발생하고 있습니다.File > invalidate Caches > Invalidate and restart도 안되네요..어떻게 해야하나요?? ㅜㅜ
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
질문있습니다!!!
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 샤드키가 데이터 분산을 위한 키값으로 활용이 되잖아요.어떤 데이터베이스에 저장이 될 지 를 결정하는 키값으로 활용되는 것으로 알고있는데, 이 샤드키가 논리적으로 다른 테이블과 연관관계를 맺는 역할도 수행한다라고 이해하면 될까요??
-
해결됨카프카 완벽 가이드 - 코어편
자문자답: 데이터 누락된다고 하시는 분 참고하세요.
안녕하세요. 선생님께서 제공해주신 예제 코드에 아주 작은 오해의 소지로 인해 데이터 누락이 된다는 분들이 계셔, 글 남깁니다. 선생님께서 제공해주신 코드의 로직에는 문제가 없습니다~!다만, OrderDTO에 테이블 컬럼이 총 7개인데, txt 스크립트에서 send해서 split하는 array의 갯수는 총 8개입니다. 따라서, makeOrderDTO()하는 부분에서 index를 DB 테이블에 알맞게 작성해 주셔야 합니다~! console에서 에러 다 출력해 주는데, 예제코드 그대로 복붙해서 보시면 그냥 뭐가 문제죠? 라고 할 수 있지만, 자세히 보시면 에러가 발생하는 걸 알 수 있습니다. <수정 전> <수정 후>
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
게시글 CRUD 구현 오류 질문입니다.
안녕하세요 강의 잘 듣고 있습니다. 게시글 CRUD 부분에서 오류가 발생하는데yml 설정은 강의랑 똑같이 해줬습니다.서버 실행시키면java.lang.NullPointerException: Cannot invoke "org.hibernate.engine.jdbc.spi.SqlExceptionHelper.convert(java.sql.SQLException, String)" because the return value of "org.hibernate.resource.transaction.backend.jdbc.internal.JdbcIsolationDelegate.sqlExceptionHelper()" is null at org.hibernate.resource.transaction.backend.jdbc.internal.JdbcIsolationDelegate.delegateWork(JdbcIsolationDelegate.java:116) ~[hibernate-core-6.5.2.Final.jar:6.5.2.Final] at org.hibernate.engine.jdbc.env.internal.JdbcEnvironmentInitiator.getJdbcEnvironmentUsingJdbcMetadata(JdbcEnvironmentInitiator.java:290) ~[hibernate-core-6.5.2.Final.jar:6.5.2.Final] at org.hibernate.engine.jdbc.env.internal.JdbcEnvironmentInitiator.initiateService(JdbcEnvironmentInitiator.java:123) ~[hibernate-core-6.5.2.Final.jar:6.5.2.Final]이런 오류가 발생하고 테스트 실행시키면Invalid status line: "ÿ900" at org.springframework.web.client.DefaultRestClient$DefaultRequestBodyUriSpec.createResourceAccessException(DefaultRestClient.java:575) at org.springframework.web.client.DefaultRestClient$DefaultRequestBodyUriSpec.exchangeInternal(DefaultRestClient.java:498) at org.springframework.web.client.DefaultRestClient$DefaultRequestBodyUriSpec.retrieve(DefaultRestClient.java:460) at kuke.board.article.api.ArticleApiTest.create(ArticleApiTest.java:24) at kuke.board.article.api.ArticleApiTest.createTest(ArticleApiTest.java:14) at java.base/java.lang.reflect.Method.invoke(Method.java:580) at java.base/java.util.ArrayList.forEach(ArrayList.java:1596) at java.base/java.util.ArrayList.forEach(ArrayList.java:1596) Caused by: java.net.ProtocolException: Invalid status line: "ÿ900" at java.net.http/jdk.internal.net.http.HttpClientImpl.send(HttpClientImpl.java:962) at java.net.http/jdk.internal.net.http.HttpClientFacade.send(HttpClientFacade.java:133) at org.springframework.http.client.JdkClientHttpRequest.executeInternal(JdkClientHttpRequest.java:102)이런 오류가 발생합니다.구글링 해보고 권한 설정이랑 인코딩 설정도 다 했는데 도저히 안돼서 질문 남깁니다.. 추가)server: port: 9000 spring: application: name: kuke-board-article-service datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://127.0.0.1:3306/article username: root password: root jpa: database-platform: org.hibernate.dialect.MySQLDialect open-in-view: false show-sql: true hibernate: ddl-auto: noneyml 설정입니다. 추가)artile의 build.gradledependencies { implementation 'org.springframework.boot:spring-boot-starter-web' implementation 'org.springframework.boot:spring-boot-starter-data-jpa' runtimeOnly 'com.mysql:mysql-connector-j' implementation project(':common:snowflake') }이 부분은 강의 코드 보면서 그대로 쳤어서 runtimeOnly 'com.mysql:mysql-connector-j'는 원래 있었습니다. 스프링 버전 관련plugins { id 'java' id 'org.springframework.boot' version '3.3.2' id 'io.spring.dependency-management' version '1.1.6' } group = 'kuke' version = '1' allprojects { java { sourceCompatibility = JavaVersion.VERSION_21 targetCompatibility = JavaVersion.VERSION_21 } apply plugin: 'java' apply plugin: 'org.springframework.boot' apply plugin: 'io.spring.dependency-management' configurations { compileOnly { extendsFrom annotationProcessor } } repositories { mavenCentral() } dependencies { compileOnly 'org.projectlombok:lombok' annotationProcessor 'org.projectlombok:lombok' testCompileOnly 'org.projectlombok:lombok' testAnnotationProcessor 'org.projectlombok:lombok' testImplementation 'org.springframework.boot:spring-boot-starter-test' testRuntimeOnly 'org.junit.platform:junit-platform-launcher' } tasks.named('test') { useJUnitPlatform() } }강의에 나온 버전 그대로 맞췄습니다. DB관련아이디 root에 비밀번호 root로 하면 접속 잘 되고 DB랑 테이블도 article로 통일했습니다. MySQLDialect -> MySQL8Dialect로 변경해도 안되는데 이유를 모르겠네요!... 추가)이렇게 나오는데 USER는 본명이라 가렸습니다!.. 추가)테스트 실행시키면 발생하는 오류입니다.. package kuke.board.article.api; import kuke.board.article.service.response.ArticleResponse; import lombok.AllArgsConstructor; import lombok.Getter; import org.junit.jupiter.api.Test; import org.springframework.web.client.RestClient; public class ArticleApiTest { RestClient restClient = RestClient.create("http://localhost:9000"); @Test void createTest() { ArticleResponse response = create(new ArticleCreateRequest( "hi", "my content", 1L, 1L )); System.out.println("response = " + response); } ArticleResponse create(ArticleCreateRequest request) { return restClient.post() .uri("/v1/articles") .body(request) .retrieve() .body(ArticleResponse.class); } @Getter @AllArgsConstructor static class ArticleCreateRequest { private String title; private String content; private Long writerId; private Long boardId; } @Getter @AllArgsConstructor static class ArticleUpdateRequest { private String title; private String content; } }코드는 강의랑 똑같은데 왜그럴까요..
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
article_id에 대해서
comment기능에서 comment테이블에 article_id을 shard key로 사용한다고 하셨는데 comment기능은 article기능에 뎃글을 다는 기능으로 article테이블에 article_id와 연관관계를 맺는 컬럼이 아닌건가요? 만약맞다면 article테이블에 article_id를 comment테이블에 article_id에 저장되게끔 해야 할 듯 한거 같은데 1고정값으로 넣는게 이해가 안되서 질문드렸습니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요!! 질문있습니다!!
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. Comment 엔티티 생성시 연관관계를 Long articleId로 해줌으로써 Article 엔티티와 연관관계를 맺어준것일까요?Article과 Comment는 1:N 관계로 보이는데, comment 테이블 설계 당시 Article에 대한 외래키 관리를 comment 테이블에서 안해준 이유도 궁금합니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
게시글목록 최적화 전략설계 질문
조회용 게시글 목록 캐시가 미리 있는 상태에서 게시글이 수정이 된다면 게시글 조회 서비스에서 구독을 통해서 캐시 수정이 이뤄져야 하는걸까요?강의에서는 작성/삭제 두가지만 말해주시는거 같아서 수정인경우도 알고싶습니다~
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
Snowflake 강의 질문입니다.
1. intelliJ java file outside of source root 에러가 뜹니다Snowflake 강의를 듣다가 질문이 생겨서 질문올립니다.강의자료에 있는 Snowflake 자료를 복사 붙여넣기 하다가 intelliJ java file outside of source root 에러가 뜹니다. 아래와 같이 시도를 해보았습니다.https://stackoverflow.com/questions/63521181/java-file-outside-of-source-root-intellij 이싸이트에 나와있는IntelliJ의 오른쪽 도구 모음에서 "gradle"을 클릭한 다음 새로 고침 버튼을 클릭합니다.File > Project Structure > Modules > Sources그리고 Java 파일 디렉토리를 소스로 표시를 변경하라고 나옴. 이 방법 시도 하지만common->src로 변경했더니 IntelliJ IDEA에서 동일한 resources 디렉터리가 두 개의 모듈에서 중복으로 설정되어 있을 때 발생하는 문제가 생겨 적용 불가능현재 프로젝트 close하고 다시 open함.java버전과 스프링부트 버전 확인 build.gradle에서 버전 확인위와 같이 해결방법을 모색해봤는데 해결방법을 모르겠습니다. 프로젝트 파일 첨부합니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
무한 스크롤 질문있습니다
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.갑자기 페이징 쿼리 설명하다가 다음 강의에서 무한 스크롤에 대한 설명을 하시는데요. 1.이는 분산환경에서의 페이징 쿼리시의 단점을 보완하기 위한 방법으로 무한 스크롤을 설명하시는건가요??2.아니면 단순 무한 스크롤의 장점에 대해서 설명하시는건가요??3.아니면 분산 환경에서의 페이징 쿼리의 단점으로 인해 분산 환경에서는 무한 스크롤 방식을 선호한다는 것일까요??저는 SpringDataJPA를 사용하여 페이징과 Slice를 구현해본적이 있는데 해당 기능이라던가 QueryDSL과 같은 기능을 사용하지 않고 네이티브 쿼리를 사용하는 이유는 무엇일까요??
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
게시글 CRUD API 설계 강의에 대해 질문있습니다.
강의 1분 47초에서 샤드를 bored id는상관 없이 articleid로 짝수면 오른쪽, 홀수면 왼쪽으로 나뉘어진건가요? 샤딩 id가 articleid와 bored id 인건가요?
-
미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
안녕하세요. 처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요 파티션을 늘린다다는것은 카프카 설정에서 설정할 수 있을 것 같은데.. 컨슈머를 늘린다는것은 eks 에서 본다면 pod를 더 늘린다고 보면 될까요? 그리고 일반적으로 컨슈머 서버는 서버 1개마다 컨슈머 1개만 할당하는 방식으로 운영하시는지 궁금합니다.(서버 1개에 5개의 토픽을 구독 vs 서버 1개당 토픽구독은 1개만)
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
24:49초 Explain 쿼리 문에서 질문드립니다
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.저는 왜 Using where과 Using Index 두개가 같이 나올까요?오로지 Using Index만 나와야 커버링 인덱스를 이용해서 데이터를 성공적으로 조회했다 라고 이해했는데 Using where와 같이 나온거 보면 뭔가 MySQL 내부에서 커버링 인덱스만으로 데이터를 조회하지 못했으니 뭔가를 더 실행한 것일까요??# 5만 페이지 스킵 쿼리explain select * from ( select article_id from article where board_id = 1 ORDER BY article_id DESC limit 30 offset 1499970 ) t left join article on t.article_id = article.article_id;해당 쿼리에서는 Using where; Using index 이렇게 나옵니다.explain select * from article where board_id = 1 order by article_id desc limit 30 offset 90;해당 쿼리에서는 Usind index condition이 나옵니다저는 MySQL 쿼리문을 터미널에서 실행한게 아닌 DataGrip으로 실행 했는데 여기서 차이가 있는 걸까요??
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
page값에 대해서
count 값을 구하는 로직을 보면 값이 커지면 커질수록 쿼리 속도가 현저히 저하되는 상황을 볼 수 있는데요. 이럴경우 어떠한 방식으로 대처하면될까요? 예를들어 500,000을 page값으로 설정하면 2~3초정도 걸리게 됩니다.