176만명의 커뮤니티!! 함께 토론해봐요.
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
count 값을 구하는 로직을 보면 값이 커지면 커질수록 쿼리 속도가 현저히 저하되는 상황을 볼 수 있는데요. 이럴경우 어떠한 방식으로 대처하면될까요? 예를들어 500,000을 page값으로 설정하면 2~3초정도 걸리게 됩니다.
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
강사님 너무 좋은 강의 감사드립니다. JDBC Source Connector 예시를 잘 보았습니다. 해당 소스 커넥터의 경우 DB를 주기적으로 폴링해서 변경사항을 감지해서 DB 부담이 큰 것으로 알고 있는데요. (CDC source connector에 비해) 혹시 해당 방식의 커넥터는 현업에서도 메이저하게 사용하는 방식인지 아니면 단순 예시인지 궁금합니다.
미해결
실습으로 배우는 선착순 이벤트 시스템
보통 사용자의 행동패턴은 쿠폰 발급 후 [쿠폰이 발급되었습니다] 라는 메세지 이후 쿠폰을 바로 사용합니다. 현재 플로우는 pub/sub을 통한 비동기이므로 사용자의 한 트랜잭션으로 처리 되지 않을 것 같은데 위와 같은 요구사항을 구현하기 위해 어떤 방법이 있을까요?
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
학습 관련 질문을 최대한 상세히 남겨주세요! 고민 과정도 같이 나열해주셔도 좋습니다. 먼저 유사한 질문이 있었는지 검색해보세요. 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 쿠케님 안녕하세요. 학습하면서 정리하는 내용(키워드 등)을 블로그에 업로드해도 괜찮은지 궁금해서 질문드려요~!
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요, 먼저 소중한 강의 만들어주셔서 너무 감사드립니다! 🙏🏻 댓글 목록 조회 쿼리에서 궁금한 점이 있어 질문드립니다. ( 댓글 최대 2 depth - 목록 API 설계 7:19 부분 ) 질문 "튜플 비교 (a, b) > (x, y) 를 사용하면 인덱스 풀 스캔이 발생하여 성능이 매우 떨어지는데, 명시적 조건 a > x OR (a = x AND b > y) 으로 분리하면 인덱스 레인지 스캔이 발생하여 쿼리 성능이 매우 빨라지는데 왜 그런 것일지 모르겠습니다.." 질문 상세 테스트 환경: comment 에 약 8백만건의 테스트 데이터 삽입 mysql base image: mysql:8.0.38 comment table ddl -- auto-generated definition create table comment ( comment_id bigint not null primary key, content varchar(3000) not null, article_id bigint not null, parent_comment_id bigint not null, writer_id bigint not null, is_deleted tinyint(1) not null, created_at datetime not null ); create index idx_article_id_parent_comment_id_comment_id on comment (article_id, parent_comment_id, comment_id); 문제가 되는 테스트 케이스 (1: slow, 2: fast) case 1. tuple comparision (slow) explain analyze select comment.comment_id, comment.parent_comment_id, comment.content, comment.article_id, comment.writer_id, comment.content, comment.is_deleted, comment.created_at from comment where article_id = 1 and (parent_comment_id, comment_id) > (142539921307124354, 142539921307124350) order by parent_comment_id, comment_id limit 30; -- -> Limit: 30 row(s) (cost=542979 rows=30) (actual time=8620..8620 rows=30 loops=1) -> Filter: ((`comment`.comment_id,`comment`.parent_comment_id) > (142539921307124354,142539921307124350)) (cost=542979 rows=4.01e+6) (actual time=8620..8620 rows=30 loops=1) -> Index lookup on comment using idx_article_id_parent_comment_id_comment_id (article_id=1) (cost=542979 rows=4.01e+6) (actual time=1.83..8251 rows=8e+6 loops=1) case 2. fast explain analyze select comment.comment_id, comment.parent_comment_id, comment.content, comment.article_id, comment.writer_id, comment.content, comment.is_deleted, comment.created_at from comment where article_id = 1 and ( parent_comment_id > 142539921307124354 or (parent_comment_id = 142539921307124354 and comment_id > 142539921307124350) ) order by parent_comment_id, comment_id limit 30; -- -> Limit: 30 row(s) (cost=416 rows=30) (actual time=0.252..0.727 rows=30 loops=1) -> Index range scan on comment using idx_article_id_parent_comment_id_comment_id over (article_id = 1 AND parent_comment_id = 142539921307124354 AND 142539921307124350 < comment_id) OR (article_id = 1 AND 142539921307124354 < parent_comment_id), with index condition: ((`comment`.article_id = 1) and ((`comment`.parent_comment_id > 142539921307124354) or ((`comment`.parent_comment_id = 142539921307124354) and (`comment`.comment_id > 142539921307124350)))) (cost=416 rows=358) (actual time=0.232..0.705 rows=30 loops=1) 튜플 비교를 사용한 1번 쿼리에서는 index full scan 이 발생하여 ( 8백만개의 row 를 모두 스캔 ) 8초의 안좋은 쿼리 성능이 나타난 것으로 판단했습니다. 반면 튜플 비교를 명시적 조건으로 분리한 2번 쿼리에서는, ( a > X OR (a = X AND b > Y) )) index range scan 을 통해 0.7초 이하의 빠른 쿼리 성능이 나타난 것 같아요. 요약 튜플 비교 (a, b) > (x, y) 를 사용한 1번 쿼리에서 MySQL 옵티마이저는 왜 풀 인덱스 스캔을 선택하는 것인지, 튜플 비교가 인덱스 레인지 스캔으로 최적화되지 않는 이유가 무엇인지 원인을 찾고 있는데 잘 모르겠네요.. 힌트를 받을 수 있을까요? 새해복 많이 받으세요!
해결됨
대용랑 채팅 TPS에 대한 stateful 서비스 구축하기
Kafka를 통한 Subscribe 마무리하고, API를 통해 확인해 볼게요.-> 이 강의에서 카프카 구동시키는 명령어 알려주실수있나요?
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요. 강의 잘 수강하고 있습니다. 현재 회사에서 MyBatis를 주로 사용하고 있습니다. 제가 JPA에 대한 실무 경험이 없다보니 실무에서는 어떻게 JPA를 사용하는지 궁금하여 질문을 드렸습니다. 질문 제가 생각할 때 이번 프로젝트는 복잡한 부분이 없어서 단순히 연관 관계가 필요 없다고 생각하는데 복잡한 실무에서 연관관계를 사용하는지 유무가 궁금하다. (상황마다 다르겠지만 일반론 기준) 거의 모든 Repository에서 네이티브 쿼리를 사용을 하였는데 실무에서 native Query를 많이 사용하는지 궁금하며 QueryDsl은 실무에서 어떤 방식으로 사용하는 궁금합니다. ( 크게 런타임 타입 체킹이 필요가 없다면 거의 다 native Query로 풀 수 있을거 같은데 QueryDSL을 사용한 경험을 듣고 싶습니다.
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
학습 관련 질문을 최대한 상세히 남겨주세요! 고민 과정도 같이 나열해주셔도 좋습니다. 먼저 유사한 질문이 있었는지 검색해보세요. 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 너무너무 흥미진진하게 보고 있었는데, 이 내용이 꼭 좀 있으면 좋겠습니다...!ㅠ 테이블을 분리한다면 테이블의 명칭은 각각 어떻게 네이밍 되는지.. 게시글이 1년 단위로 테이블이 분리된다고 했을떄, 테이블을 동적으로 생성하는 어떤 전략이 있는지.. (아니면 직접 1년 지날때마나 만드는 것인지) 등등.. 사소한 것부터 궁금한 것이 너무 많아서요...!
해결됨
스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요. 우선 니즈에 맞는 좋은 강의를 찾아서 기분이 좋네요. 감사합니다. 게시글 , 댓글 , 좋아요 수 를 따로 테이블을 만들어 관리한다는 것은 처음 알게되었고 좋은 방법이라고 생각합니다. 강의에서는 비관적 락, 낙관적 락을 이용해서 동시성 문제를 해결하셨는데, 실무에서도 COUNT 테이블에 비관적 락, 낙관적 락을 많이 사용하나요 ? 대규모 트래픽에서는 성능 문제로 비관적 락을 잘 사용하지 않을 것 같았거든요. 낙관적 락을 사용하기에는 충돌이 많을 것 같구요. (그저 제 상상입니다. ㅎㅎ;) 의견 부탁드립니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
지금 빅데이터 탐색 과정을 진행중입니. 현재 3개의 가상머신 기반으로 실습중이며 server01은 가상 CPU 8개, server02와 server03는 가상 CPU 4개 그리고 메인메모리는 모두 동일하게 16기가씩 할당하였습니다. 그럼에도 불구하고 리소스가 부족한지 server01가상머신에서 아래와 같은 에러가 발생하며 진도가 잘 나가지 못하는 상황입니다. kernel:BUG: soft lockup - CPU#0 stuck for 951s! 혹시 상기 에러와 관련하여 조언이 있으실지 문의드립니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요? 이젠 또 Oozie설치에서 문제가 생겼습니다. 이슈는 ShareLib업로드 관련 에러이며 몇번이나 시도했지만 동일한 에러가 지속적으로 빌생해서 문의드리며 스크린샷은 아래에 추가하였습니다. 조언부탁드리며 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요? 강의를 보면서 레포설정은 문제없이 된 것 같은 데 No package python27 available.라는 에러가 자꾸 뜨고 설치가 진행이 되지 않다보니 여기 발목이 잡힌 상태입니다. 아래에 스크린샷을 주가했습니다. 이상한건 레포지토리 검색을 해 보면 scl관련 레포지토리는 안보이는데 이게 정상인지요? 그럼 지도편달 부탁드립니다. 감사합니다.
해결됨
실습으로 배우는 선착순 이벤트 시스템
안녕하세요 강사님! 강사님의 동시성 이슈와 선착순 이벤트 시스템 강의를 듣고 실제 프로젝트에서 이벤트 응모 시스템을 만들어 봤습니다. 아래는 제가 해당 이벤트 응모 시스템을 만들면서 겪었던 이슈와 고민을 블로그 글로 적었습니다. 우선 강사님 덕분에 프로젝트 잘 끝낼 수 있어서 감사했습니다. 블로그 글을 쓰면서 든 생각은 여기서 더 개선 시킬점은 없을까? 좀 더 고민 해볼만한 부분은 없을까? 라는 생각이 들었습니다. 개발에 정답은 없지만 그래도 좋은 방향은 있다고 생각해서 최근에 제가 쓴 글을 다시 보면서 어떤 부분을 고치면 좋을까 라는 생각을 하고 있습니다. 혹시 강사님께서 제 글을 보시고 만약 면접관이시라면 어떤식으로 질문이 들어올 수 있을지 특히 꼬리 질문에 대해 얘기를 해주실 수 있을까요 해주신 내용을 바탕으로 깊게 고민을 해보고 면접 대비도 하고 싶습니다.
미해결
Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
문제 Zipkin Dependencies 화면만 안나옴... (Chrome 에서만 안됨... Firefox 에서는 됨...) 1) 개발자도구 확인 - Network You need to enable JavaScript to run this app 확인 https://support.google.com/adsense/answer/12654?hl=en 위 링크를 확인해서 크롬에서 JavaScript 가 활성화 되어있는지 확인 → 이미 되어있었음... 2) 개발자 도구 확인 - Console Error creating WebGL context. 확인 chrome://flags ANGLE graphics backend 옵션 확인 > OpenGL 설정 → 그래도 안됨… 3) 마지막.. chrome://settings 시스템 탭 클릭 "가능한 경우 그래픽 가속 사용" 설정 켜기... → 성공… 같은 문제가 발생하시는 분들에게 도움이 되면 좋겠습니다. 참고 사이트입니다. https://help.lucid.co/hc/ko/articles/17480912789908-문제-해결-WebGL https://support.google.com/chrome/thread/25018979/status-could-not-create-a-webgl-context?hl=en
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요~ 강의를 듣다가 binlog관련 궁금한 점이 생겨서 질문드립니다! 해당 커넥트의 offset정보에 담긴 binlog파일이 만약 삭제됐다면 기동 중에 오류가 발생한다고 말씀을 주셨는데, 그럼 만약 binlog 파일이 커져서 다음 파일?로 넘어가서 새로운 binlog파일로 생성이 된다면 오류는 발생하지 않고 offset에는 다음 binlog파일로 기록이 되는 것일까요?
해결됨
카프카 완벽 가이드 - 코어편
안녕하세요. 여러분의 삽집을 줄이기 위해 정보 공유합니다. 또한, 질문 게시판에 꽤 많은 같은 에러를 접하시는 분들이 계시는 것 같아, 공유합니다. 이미 선생님께서 해결 방안의 힌트를 남겨줘서 찾기 수월했습니다. 자세한 내용은 해당 링크( java.net .UnknownHostException )를 참고하세요.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요? 다름아니라 지금 다시 처음부터 실습을 해 보는 중인데 계속해서 해결이 않되는 부분이 있습니다. 카프카 부분인데요 분명히 토픽도 잘 생성된 것 같아서 메시지를 프로듀싱해보면 컨슈머에서 해당 메시지가 보이지 않아서 관련해서 트러블슈팅 팁을 문의드립니다. 관련 스크린샷은 아래에 첨부하였습니다. 감사합니다. 감사합니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
이 수업 내용에서 하나의 토픽에 여러개의 파티션을 생성 할 수 있고 이 파티션은 하나의 리더 파티션에 다른 broker에 팔로워 파티션을 생성한다고 해주셨던걸로 기억합니다. 또한, producer와 consumer와 소통하는건 리더 파티션만 가능하다고 했는에 위 그림에서는 팔로워 파티션도 컨슈머와 소통가능한 걸로 보여서 헷갈려서 질문드립니다. 또한, 리더 파티션만 컨슈머와 소통가능한데 어떻게 병렬 처리가 가능하고 파티션 개수가 늘리면 처리량이 증가하는건지 잘 이해가 가지 않아서요. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요! 머하웃에서 실행하는 추천 잡이 실행이 안되어서 질문 남깁니다..! 제가 시도한 방법은 다음과 같습니다 휴에서 보이는 잡들 모두 제거하고 실행 클라우데라에서 클러스터1을 재시작하고 실행 우지를 종료하고 실행 이 방법들로는 해결되지 않았습니다.. 어찌해야 할 지 모르겠어 질문 남깁니다..!!
미해결
15일간의 빅데이터 파일럿 프로젝트
현재 실시간 데이터 수집부분에서 Storm Topology를 배포하는 단계에서 다음의 스크린샷과 같은 에러가 발생하였습니다. 참고로 저는 storm 버전 0.9.7을 설치하여 실습을 진행중이며 에러 관련 스크린샷은 아래와 같습니다. 어떻게 해결하면 좋을지 문의드립니다. 제공하여주신 jar파일에 의존성을 추가해서 해당 의존성을 다운로드해야 할 지 아니면 스톰의 버전을 정확하게 맞추어야 할 지 고민이 되어서 문의드립니다. 감사합니다.
