묻고 답해요
161만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
Kafka Source Connect 사용
강사님 너무 좋은 강의 감사드립니다. JDBC Source Connector 예시를 잘 보았습니다. 해당 소스 커넥터의 경우 DB를 주기적으로 폴링해서 변경사항을 감지해서 DB 부담이 큰 것으로 알고 있는데요. (CDC source connector에 비해)혹시 해당 방식의 커넥터는 현업에서도 메이저하게 사용하는 방식인지 아니면 단순 예시인지 궁금합니다.
-
미해결실습으로 배우는 선착순 이벤트 시스템
사용자 동선에 대한 트랜잭션 문의
보통 사용자의 행동패턴은 쿠폰 발급 후 [쿠폰이 발급되었습니다]라는 메세지 이후 쿠폰을 바로 사용합니다. 현재 플로우는 pub/sub을 통한 비동기이므로 사용자의 한 트랜잭션으로 처리 되지 않을 것 같은데 위와 같은 요구사항을 구현하기 위해 어떤 방법이 있을까요?
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
블로그 정리 질문입니다.
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.쿠케님 안녕하세요.학습하면서 정리하는 내용(키워드 등)을 블로그에 업로드해도 괜찮은지 궁금해서 질문드려요~!
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
댓글 목록 조회 - 튜플 비교 시 쿼리 성능 저하
안녕하세요, 먼저 소중한 강의 만들어주셔서 너무 감사드립니다! 🙏🏻 댓글 목록 조회 쿼리에서 궁금한 점이 있어 질문드립니다.( 댓글 최대 2 depth - 목록 API 설계 7:19 부분 ) 질문"튜플 비교 (a, b) > (x, y)를 사용하면 인덱스 풀 스캔이 발생하여 성능이 매우 떨어지는데, 명시적 조건 a > x OR (a = x AND b > y) 으로 분리하면 인덱스 레인지 스캔이 발생하여 쿼리 성능이 매우 빨라지는데 왜 그런 것일지 모르겠습니다.." 질문 상세테스트 환경: comment 에 약 8백만건의 테스트 데이터 삽입mysql base image: mysql:8.0.38comment table ddl-- auto-generated definition create table comment ( comment_id bigint not null primary key, content varchar(3000) not null, article_id bigint not null, parent_comment_id bigint not null, writer_id bigint not null, is_deleted tinyint(1) not null, created_at datetime not null ); create index idx_article_id_parent_comment_id_comment_id on comment (article_id, parent_comment_id, comment_id); 문제가 되는 테스트 케이스 (1: slow, 2: fast)case 1. tuple comparision (slow)explain analyze select comment.comment_id, comment.parent_comment_id, comment.content, comment.article_id, comment.writer_id, comment.content, comment.is_deleted, comment.created_at from comment where article_id = 1 and (parent_comment_id, comment_id) > (142539921307124354, 142539921307124350) order by parent_comment_id, comment_id limit 30; -- -> Limit: 30 row(s) (cost=542979 rows=30) (actual time=8620..8620 rows=30 loops=1) -> Filter: ((`comment`.comment_id,`comment`.parent_comment_id) > (142539921307124354,142539921307124350)) (cost=542979 rows=4.01e+6) (actual time=8620..8620 rows=30 loops=1) -> Index lookup on comment using idx_article_id_parent_comment_id_comment_id (article_id=1) (cost=542979 rows=4.01e+6) (actual time=1.83..8251 rows=8e+6 loops=1) case 2. fastexplain analyze select comment.comment_id, comment.parent_comment_id, comment.content, comment.article_id, comment.writer_id, comment.content, comment.is_deleted, comment.created_at from comment where article_id = 1 and ( parent_comment_id > 142539921307124354 or (parent_comment_id = 142539921307124354 and comment_id > 142539921307124350) ) order by parent_comment_id, comment_id limit 30; -- -> Limit: 30 row(s) (cost=416 rows=30) (actual time=0.252..0.727 rows=30 loops=1) -> Index range scan on comment using idx_article_id_parent_comment_id_comment_id over (article_id = 1 AND parent_comment_id = 142539921307124354 AND 142539921307124350 < comment_id) OR (article_id = 1 AND 142539921307124354 < parent_comment_id), with index condition: ((`comment`.article_id = 1) and ((`comment`.parent_comment_id > 142539921307124354) or ((`comment`.parent_comment_id = 142539921307124354) and (`comment`.comment_id > 142539921307124350)))) (cost=416 rows=358) (actual time=0.232..0.705 rows=30 loops=1) 튜플 비교를 사용한 1번 쿼리에서는 index full scan 이 발생하여 ( 8백만개의 row 를 모두 스캔 ) 8초의 안좋은 쿼리 성능이 나타난 것으로 판단했습니다. 반면 튜플 비교를 명시적 조건으로 분리한 2번 쿼리에서는,(a > X OR (a = X AND b > Y)))index range scan 을 통해 0.7초 이하의 빠른 쿼리 성능이 나타난 것 같아요.요약튜플 비교 (a, b) > (x, y)를 사용한 1번 쿼리에서 MySQL 옵티마이저는 왜 풀 인덱스 스캔을 선택하는 것인지,튜플 비교가 인덱스 레인지 스캔으로 최적화되지 않는 이유가 무엇인지 원인을 찾고 있는데 잘 모르겠네요.. 힌트를 받을 수 있을까요? 새해복 많이 받으세요!
-
해결됨대용랑 채팅 TPS에 대한 stateful 서비스 구축하기
Kafka 구동관련
Kafka를 통한 Subscribe 마무리하고, API를 통해 확인해 볼게요.-> 이 강의에서 카프카 구동시키는 명령어 알려주실수있나요?
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요. 실무에서 JPA 사용법
안녕하세요. 강의 잘 수강하고 있습니다. 현재 회사에서 MyBatis를 주로 사용하고 있습니다. 제가 JPA에 대한 실무 경험이 없다보니 실무에서는 어떻게 JPA를 사용하는지 궁금하여 질문을 드렸습니다. 질문제가 생각할 때 이번 프로젝트는 복잡한 부분이 없어서 단순히 연관 관계가 필요 없다고 생각하는데 복잡한 실무에서 연관관계를 사용하는지 유무가 궁금하다. (상황마다 다르겠지만 일반론 기준) 거의 모든 Repository에서 네이티브 쿼리를 사용을 하였는데 실무에서 native Query를 많이 사용하는지 궁금하며 QueryDsl은 실무에서 어떤 방식으로 사용하는 궁금합니다. ( 크게 런타임 타입 체킹이 필요가 없다면 거의 다 native Query로 풀 수 있을거 같은데 QueryDSL을 사용한 경험을 듣고 싶습니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
혹시 26분 30초 경에 대해서 추가적인 강의 찍으실 예정이실까요??
학습 관련 질문을 최대한 상세히 남겨주세요!고민 과정도 같이 나열해주셔도 좋습니다.먼저 유사한 질문이 있었는지 검색해보세요.인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.너무너무 흥미진진하게 보고 있었는데, 이 내용이 꼭 좀 있으면 좋겠습니다...!ㅠ 테이블을 분리한다면 테이블의 명칭은 각각 어떻게 네이밍 되는지.. 게시글이 1년 단위로 테이블이 분리된다고 했을떄, 테이블을 동적으로 생성하는 어떤 전략이 있는지.. (아니면 직접 1년 지날때마나 만드는 것인지) 등등.. 사소한 것부터 궁금한 것이 너무 많아서요...!
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
COUNT 테이블 Lock 관련 문의
안녕하세요.우선 니즈에 맞는 좋은 강의를 찾아서 기분이 좋네요. 감사합니다.게시글 , 댓글 , 좋아요 수 를 따로 테이블을 만들어 관리한다는 것은 처음 알게되었고 좋은 방법이라고 생각합니다.강의에서는 비관적 락, 낙관적 락을 이용해서 동시성 문제를 해결하셨는데, 실무에서도 COUNT 테이블에 비관적 락, 낙관적 락을 많이 사용하나요 ?대규모 트래픽에서는 성능 문제로 비관적 락을 잘 사용하지 않을 것 같았거든요.낙관적 락을 사용하기에는 충돌이 많을 것 같구요.(그저 제 상상입니다. ㅎㅎ;) 의견 부탁드립니다.감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
kernel:BUG 에러 관련 문의
지금 빅데이터 탐색 과정을 진행중입니.현재 3개의 가상머신 기반으로 실습중이며 server01은 가상 CPU 8개, server02와 server03는 가상 CPU 4개 그리고 메인메모리는 모두 동일하게 16기가씩 할당하였습니다.그럼에도 불구하고 리소스가 부족한지 server01가상머신에서 아래와 같은 에러가 발생하며 진도가 잘 나가지 못하는 상황입니다.kernel:BUG: soft lockup - CPU#0 stuck for 951s!혹시 상기 에러와 관련하여 조언이 있으실지 문의드립니다.감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
Oozie설치시 ShareLib업로드 에러
안녕하세요?이젠 또 Oozie설치에서 문제가 생겼습니다. 이슈는 ShareLib업로드 관련 에러이며 몇번이나 시도했지만 동일한 에러가 지속적으로 빌생해서 문의드리며 스크린샷은 아래에 추가하였습니다.조언부탁드리며 감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
Hue 설치시 python27패키지를 찾을 수 없음
안녕하세요? 강의를 보면서 레포설정은 문제없이 된 것 같은 데 No package python27 available.라는 에러가 자꾸 뜨고 설치가 진행이 되지 않다보니 여기 발목이 잡힌 상태입니다. 아래에 스크린샷을 주가했습니다.이상한건 레포지토리 검색을 해 보면 scl관련 레포지토리는 안보이는데 이게 정상인지요?그럼 지도편달 부탁드립니다.감사합니다.
-
해결됨실습으로 배우는 선착순 이벤트 시스템
강사님 강의를 듣고 실제 프로젝트에서 이벤트 응모 시스템을 만들어 봤습니다.
안녕하세요 강사님!강사님의 동시성 이슈와 선착순 이벤트 시스템 강의를 듣고 실제 프로젝트에서 이벤트 응모 시스템을 만들어 봤습니다. 아래는 제가 해당 이벤트 응모 시스템을 만들면서 겪었던 이슈와 고민을 블로그 글로 적었습니다.우선 강사님 덕분에 프로젝트 잘 끝낼 수 있어서 감사했습니다.블로그 글을 쓰면서 든 생각은 여기서 더 개선 시킬점은 없을까? 좀 더 고민 해볼만한 부분은 없을까? 라는 생각이 들었습니다.개발에 정답은 없지만 그래도 좋은 방향은 있다고 생각해서 최근에 제가 쓴 글을 다시 보면서 어떤 부분을 고치면 좋을까 라는 생각을 하고 있습니다.혹시 강사님께서 제 글을 보시고 만약 면접관이시라면 어떤식으로 질문이 들어올 수 있을지 특히 꼬리 질문에 대해 얘기를 해주실 수 있을까요 해주신 내용을 바탕으로 깊게 고민을 해보고 면접 대비도 하고 싶습니다.
-
미해결Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
Zipkin Dependencies 화면 안나옴...
문제Zipkin Dependencies 화면만 안나옴... (Chrome 에서만 안됨... Firefox 에서는 됨...) 1) 개발자도구 확인 - NetworkYou need to enable JavaScript to run this app 확인https://support.google.com/adsense/answer/12654?hl=en위 링크를 확인해서 크롬에서 JavaScript 가 활성화 되어있는지 확인→ 이미 되어있었음... 2) 개발자 도구 확인 - ConsoleError creating WebGL context. 확인chrome://flagsANGLE graphics backend 옵션 확인 > OpenGL 설정 → 그래도 안됨… 3) 마지막..chrome://settings시스템 탭 클릭"가능한 경우 그래픽 가속 사용" 설정 켜기... → 성공… 같은 문제가 발생하시는 분들에게 도움이 되면 좋겠습니다. 참고 사이트입니다.https://help.lucid.co/hc/ko/articles/17480912789908-문제-해결-WebGLhttps://support.google.com/chrome/thread/25018979/status-could-not-create-a-webgl-context?hl=en
-
미해결카프카 완벽 가이드 - 커넥트(Connect) 편
binlog와 offset 관련 추가 질문드립니다
안녕하세요~ 강의를 듣다가 binlog관련 궁금한 점이 생겨서 질문드립니다!해당 커넥트의 offset정보에 담긴 binlog파일이 만약 삭제됐다면 기동 중에 오류가 발생한다고 말씀을 주셨는데, 그럼 만약 binlog 파일이 커져서 다음 파일?로 넘어가서 새로운 binlog파일로 생성이 된다면 오류는 발생하지 않고 offset에는 다음 binlog파일로 기록이 되는 것일까요?
-
해결됨카프카 완벽 가이드 - 코어편
자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092
안녕하세요. 여러분의 삽집을 줄이기 위해 정보 공유합니다.또한, 질문 게시판에 꽤 많은 같은 에러를 접하시는 분들이 계시는 것 같아, 공유합니다. 이미 선생님께서 해결 방안의 힌트를 남겨줘서 찾기 수월했습니다. 자세한 내용은 해당 링크(java.net.UnknownHostException)를 참고하세요.
-
미해결15일간의 빅데이터 파일럿 프로젝트
카프카 관련 문의
안녕하세요?다름아니라 지금 다시 처음부터 실습을 해 보는 중인데 계속해서 해결이 않되는 부분이 있습니다.카프카 부분인데요 분명히 토픽도 잘 생성된 것 같아서 메시지를 프로듀싱해보면 컨슈머에서 해당 메시지가 보이지 않아서 관련해서 트러블슈팅 팁을 문의드립니다. 관련 스크린샷은 아래에 첨부하였습니다.감사합니다. 감사합니다.
-
미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
파티션 개수와 컨슈머 개수의 처리량 관련 질문
이 수업 내용에서 하나의 토픽에 여러개의 파티션을 생성 할 수 있고 이 파티션은 하나의 리더 파티션에 다른 broker에 팔로워 파티션을 생성한다고 해주셨던걸로 기억합니다.또한, producer와 consumer와 소통하는건 리더 파티션만 가능하다고 했는에 위 그림에서는 팔로워 파티션도 컨슈머와 소통가능한 걸로 보여서 헷갈려서 질문드립니다. 또한, 리더 파티션만 컨슈머와 소통가능한데 어떻게 병렬 처리가 가능하고 파티션 개수가 늘리면 처리량이 증가하는건지 잘 이해가 가지 않아서요. 감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
머하웃 추천 ml 실행 안됨
안녕하세요! 머하웃에서 실행하는 추천 잡이 실행이 안되어서 질문 남깁니다..! 제가 시도한 방법은 다음과 같습니다휴에서 보이는 잡들 모두 제거하고 실행클라우데라에서 클러스터1을 재시작하고 실행우지를 종료하고 실행이 방법들로는 해결되지 않았습니다.. 어찌해야 할 지 모르겠어 질문 남깁니다..!!
-
미해결15일간의 빅데이터 파일럿 프로젝트
Storm관련 NoClassDefFoundError문의
현재 실시간 데이터 수집부분에서 Storm Topology를 배포하는 단계에서 다음의 스크린샷과 같은 에러가 발생하였습니다. 참고로 저는 storm 버전 0.9.7을 설치하여 실습을 진행중이며 에러 관련 스크린샷은 아래와 같습니다.어떻게 해결하면 좋을지 문의드립니다. 제공하여주신 jar파일에 의존성을 추가해서 해당 의존성을 다운로드해야 할 지 아니면 스톰의 버전을 정확하게 맞추어야 할 지 고민이 되어서 문의드립니다. 감사합니다.
-
미해결카프카 완벽 가이드 - 코어편
sudo systemctl status sshd
안녕하세요. 강의를 보고 설치를 따라하는 중sudo apt-get install openssh-server가 실행이 아래처럼 되지않아서문의 드립니다.sudo apt-get update를 해봤는데라고 뜹니다.원래는 중간에 us 부분이 kr 이었는데 https://blog.naver.com/lewisel/221893514069해당 블로그를 보고 변경했습니다.(다른블로그의 %s/kr.archive.ubuntu.com/ftp.daumkakao.com로 변경하라는 글도 실행해보았습니다.)그래도 안되어서 찾아보니 dns정보를 입력하라는 글도 보아서 /etc/resolv.conf 에 nameserver 8.8.8.8도 추가해보았고, /etc/network/interfaces파일도 추가해서 dns-nameservers 8.8.8.8 도 추가해보았지만 그대로인 것 같습니다.현재 다른 설정은 아래와 같습니다.