Redis 랜덤 값 추가 시 메타데이터 저장

안녕하세요 강토토님,좋은 질문을 해주셨습니다.Redis는 내부적으로 각 키에 대한 메타데이터(예: 데이터 타입, 만료 시간, 메모리 위치 등)를 자동으로 관리합니다. 이 메타데이터는 Redis 내부의 in-memory 데이터 구조에 저장되며, 사용자가 별도로 Map이나 딕셔너리 형태로 외부에서 관리해줄 필요는 없습니다. 예를 들어, Redis는 해시 테이블 기반의 dict 구조를 통해 키-값을 저장하고 탐색할 수 있도록 설계되어 있어서 O(1) 시간 복잡도로 키 탐색이 가능합니다. 이 dict 자체가 Redis 내부의 메타데이터를 포함하는 구조이며, Redis가 이를 바탕으로 빠르게 키를 찾을 수 있게 해줍니다. 즉, 질문하신 “메타데이터를 programmatically하게 Map이나 딕셔너리에 저장하는 의미냐”는 질문은 아니오에 가깝고, Redis가 이미 내부적으로 이런 메타데이터 구조를 포함하고 있기 때문에, 사용자가 따로 관리할 필요는 없습니다.감사합니다

자료 다운로드 항목이 비어있어요

안녕하세요 inth 님 먼저 자료 누락에 대해 죄송하다는 말씀 드리며,미국 서부 기준 이번주 내로 자료 누락된 부분에 대해서 복구 하도록 하겠습니다.감사합니다.

Blob Storage에서 파일 업로드에 대한 동시성을 어떻게 제어할 수 있을까요?

안녕하세요. 이정환님, 답변이 늦어 죄송합니다. 좋은 질문 감사드립니다.Blob Storage 또는 AWS S3처럼 객체 저장소에 용량이 큰 파일을 업로드할 때, 동일한 파일이 동시에 여러 번 업로드되는 문제는 실제로 많이 발생합니다. 이를 해결하기 위해 많이 사용하는 방식이 바로 Pre-Signed URL 기반 업로드입니다.Pre-Signed URL + 조건부 요청 조합으로 해결할 수 있습니다. 서버에서 업로드 전에 파일의 해시(SHA-256 등)를 계산합니다.이 해시를 기반으로 S3 또는 Blob Storage에 저장할 파일의 이름(Key)을 정합니다.예: uploads/1a2b3c4d5e...이미 동일한 해시의 파일이 존재하는지 확인합니다.존재할 경우 → 업로드 생략 (중복 방지)존재하지 않을 경우 → Presigned URL을 발급하여 클라이언트에게 전송클라이언트는 해당 URL로 직접 업로드합니다.이때 If-None-Match: 헤더를 사용하면, 동일한 키에 파일이 이미 존재할 경우 업로드가 거부(HTTP 412)되어 중복 업로드가 자동 방지됩니다. 대용량 파일이라면 Multipart Upload + 각 파트별 Pre-signed URL 조합으로 병렬 업로드도 가능합니다.Presigned URL은 짧은 유효시간, 최소 권한 설정으로 보안도 안전하게 유지할 수 있어요. 결론적으로, 해시 기반 파일명 지정 + Pre-signed URL + 조건부 업로드 조합은 Blob Storage 환경에서 동시 업로드 충돌 방지와 중복 업로드 최소화에 효과적인 방식입니다.

관계형 DB에서 비즈니스 요구사항 추가에 대한 대처 방법

좋은 질문입니다. 답변이 늦어졌네요. 요즘 빅테크 한 곳과 이직 인터뷰가 있기도 하고 이사도 하느라 늦어진 점 사과드립니다. 많은 분들이 관계형 DB는 스키마 변경이 어렵다고 알고 계시지만, 실제로 대형 서비스에서는 스키마 변경은 흔하고 자연스러운 과정입니다. 중요한 건 무작정 모든 필드를 처음부터 다 예측해서 설계하려고 하기보다, 변화에 유연하게 대응할 수 있는 구조와 프로세스를 갖추는 거예요. 서비스를 운영하다 보면 비즈니스 요구사항은 계속해서 변합니다. 유저 테이블에 age가 새롭게 필요해졌다면, 그냥 다음처럼 추가하면 됩니다ALTER TABLE user ADD COLUMN age INT;요즘 대부분의 RDBMS 는 이런 단순한 컬럼 추가 작업은 논블로킹 non-blocking 으로 처리하기 때문에, 실시간 서비스 운영 중에도 문제없이 반영할 수 있습니다.또한, MVP 단계에서 모든 필드를 예측해 넣으려다 보면, 과한 스키마 설계로 이어지고,이는 오히려 서비스 속도와 유지보수성을 떨어뜨립니다.그렇기 때문에 중요한 건 완벽한 예측이 아니라, 변화에 대응 가능한 유연한 설계를 하는 것 입니다.실무에서는 핵심 도메인에 집중해 작고 명확한 스키마로 출발하고, 변화에 따라 점진적으로 확장하는 것이 일반적이라고 할 수 있습니다.

AP 시스템이 전자상거래에 적용될 수 있는 이유

안녕하세요 한재현님, 수강 감사드리며, 좋은 포인트를 짚어주셨습니다.전 세계 사용자에게 끊김 없는 경험을 제공하기 위해 전자상거래 사이트는 전 세계에 흩어진 수많은 고객에게 빠른 페이지 응답을 보장해야 합니다. 네트워크 지연이나 일부 서버 장애가 발생해도 “읽기, 쓰기 요청을 계속 받아들이는” AP 계열 데이터베이스, 예를 들어 DynamoDB 같은 시스템은 글로벌 쇼핑몰의 요구사항과 잘 맞습니다. 왜냐하면, 즉시 완벽한 일관성이 아니어도 되는 영역이 많아서 물론 결제나 주문 확정 같은 부분은 강한 일관성이 필요하지만, 상품 상세 조회나 장바구니처럼 “약간의 지연”이 사용자에게 큰 불편을 주지 않는 경우가 많습니다. 예컨대 재고 수량이 실제보다 몇 초 늦게 업데이트돼도, 고객 경험에는 크게 영향을 주지 않죠. 그렇기 때문에, 이런 영역은 AP 모델의 ‘최종 일관성’을 받아들이고, 백그라운드 동기화로 데이터를 맞춰 갈 수 있습니다.중요한 트랜잭션은 보강해서 처리할 수 있다는 점은 DynamoDB에도 트랜잭션 기능이 있어서, 결제나 주문 확정과 같이 “절대 놓칠 수 없는” 작업은 CP처럼 처리하도록 설계할 수 있습니다. 즉, 전체 서비스는 AP로 운영하면서도, 민감한 도메인에서는 트랜잭션을 걸어 강한 일관성을 확보하는 하이브리드 구조를 만드는 것이 가능합니다.감사합니다. 좋은 하루 되세요!

채팅을 영속할 DB로 RDB를 선택한 이유도 궁금합니다

안녕하세요. 목동 개발자님좋은 질문을 해주셨습니다.채팅 데이터를 영속화하는 데 RDB를 선택한 이유는, 채팅 시스템에서 메시지와 사용자, 타임스탬프 같은 데이터가 명확한 구조를 가지기 때문입니다. RDB는 이런 구조화된 데이터를 테이블로 관리하기 쉽고, 메시지 전송 순서나 사용자간의 관계를 정확하게 보장하는 데 유리합니다. 예를 들면, 메시지 ID, 발신자, 수신자, 전송 시간을 하나의 레코드로 저장하면서 데이터 무결성을 유지할 수 있습니다.또한, RDB는 ACID(원자성, 일관성, 격리성, 지속성) 속성을 지원해 메시지 전송 중 오류가 발생해도 데이터가 손상되지 않도록 보장합니다. 예를 들어, 메시지를 보내는 동시에 읽음 상태를 업데이트하는 작업을 트랜잭션으로 묶을 수 있습니다.쿼리 효율성도 중요한데, RDB는 조인(JOIN)을 통해 사용자, 채팅방, 메시지 간 관계를 효율적으로 조회할 수 있습니다. 예를 들어, 특정 그룹의 모든 메시지를 시간순으로 가져오거나 특정 사용자가 받은 메시지만 필터링하는 작업이 용이합니다.실제 사례를 보면, WhatsApp은 초기 아키텍처에서 MySQL 같은 RDB를 사용했으며, Slack도 MySQL을 사용해 데이터 저장을 관리했습니다참고 링크: (https://slack.engineering/scaling-datastores-at-slack-with-vitess/)질문에서 채팅은 강결합 트랜잭션이 불필요해 보인다고 언급해주셨는데, 이는 부분적으로 공감할 수 있습니다. NoSQL은 확장성과 유연성이 뛰어나 대규모 분산 시스템에 강점이 있습니다. 하지만 채팅 시스템에서는 단순히 메시지를 저장하는 것뿐 아니라, 읽음 상태 업데이트, 그룹 채팅 멤버 관리 등 데이터 일관성이 중요한 작업이 있습니다.RDB는 이런 경우 트랜잭션을 통해 안정적으로 처리할 수 있지만, NoSQL은 기본적으로 eventual consistency(최종 일관성)를 제공하는 경우가 많아 실시간성이 중요한 채팅에서 일시적인 데이터 불일치가 발생할 수 있습니다. 예를 들어, 메시지가 한 사용자에게는 표시되었지만 다른 사용자에게는 아직 반영되지 않은 상황이 생길 수 있습니다.또한, RDB는 관계형 데이터 모델을 통해 복잡한 쿼리와 데이터 관계를 효율적으로 처리할 수 있어, 채팅 앱의 초기 설계와 유지보수에서 유리합니다. NoSQL은 대규모 데이터와 비구조화된 데이터에 강하지만, 채팅 데이터의 특성과 초기 설계의 단순함을 고려할 때 RDB가 더 적합할 수 있습니다.실제 사례에서, WhatsApp은 초기에는 RDB를 사용했으며, 이후 규모가 커지면서 Mnesia 같은 분산 데이터베이스를 도입했지만, 이는 RDB의 한계를 보완하기 위한 보조적인 선택이었습니다아래 이미지와 링크를 통해 해당 내용을 참고하실 수 있습니다!(사진)https://www.cometchat.com/blog/whatsapps-architecture-and-system-design좋은 하루 되세요!

URL 단축 서비스에서 redis counter를 사용하는 이유가 무엇인지 궁금합니다.

안녕하세요 방구석효행뜽님, 먼저 수강 해주신 것에 감사드립니다. 아주 좋은 질문을 해주셨습니다. 먼저 Redis Counter를 사용하는 이유는 URL 단축 서비스에서 사용되는 고유한 id 를 생성하기 위함입니다. URL 단축 서비스의 핵심은 긴 URL 을 짧고 고유한 Short URL 로 변환하는 것에 있습니다. 또한 쓰기(URL 생성) 작업에 대한 확장성과 빠른 퍼포먼스를 보여줄 수 있습니다.이 과정에서 중복되지 않는 키를 빠르고 효율적으로 만들어야 하기 때문에 메모리 기반의 고성능 데이터 저장소인 Redis Counter를 기반으로 INCR 명령어를 통해 카운터를 증가 시켜 고유한 id 값을 생성하게 됩니다. 따라서 Redis Counter 가 제공하는 증가되는 숫자 (예시, 1, 2,3 ...) 를 기반으로 Short URL 을 생성하게 되는데 데이터 흐름을 보면 아래와 같습니다. Short URL 생성Redis Counter 증가DB에 저장캐시 업데이트이 과정에서 사용자가 긴 URL(예: https://example.com/very/long/url 을 단축하려고 요청하면, 시스템은 고유한 short URL(예: https://short.url/g8)을 생성해야 합니다.Redis counter는 여기서 고유한 숫자 값을 제공합니다. 예를 들어, INCR counter 명령을 실행하면 현재 값이 1000에서 1001로 증가합니다.이 값(1001)을 기반으로 short URL의 키를 만듭니다. 흔히 Base62 인코딩(0-9, a-z, A-Z를 사용한 62진법)을 사용해 숫자를 짧은 문자열로 변환합니다. 예를 들어, 1001은 g8로 변환될 수 있습니다.Counter 값 1000 → Base62로 변환 → g8 → https://short.url/g8Counter 값 1001 → Base62로 변환 → g9 → https://short.url/g9결과적으로 https://short.url/g8 같은 short URL이 생성됩니다.그리고 질문에서 "Redis counter를 증가시키고 short URL을 생성한다"는 순서가 반대일 수도 있다고 하셨는데, 보통은 counter를 증가시키는 게 먼저고 그 값을 사용해 short URL을 만듭니다. 하지만 시나리오상 순서가 바뀌어도 결과는 동일합니다. 그리고 말씀하신대로 "100억 개 URL limit을 체크하기 위함이 합리적일 것 같다"고 하신 추측도 타당합니다. 예를 들어, counter가 10,000,000,000(100억)에 도달하면 시스템이 더 이상 새로운 URL을 생성하지 않도록 제한할 수 있습니다.하지만 이건 주로 모니터링 목적입니다. 실제 URL 생성 로직 자체는 counter 값이 100억을 넘어도 계속 동작할 수 있고, 100억 제한은 시스템 설계상 의도된 한계일 뿐입니다. 따라서, 100억 URL 제한: Redis counter로 생성된 URL 수를 모니터링해 한도를 체크할 수 있지만, 생성 로직과 DB 저장에는 직접 영향을 주지 않습니다. 감사합니다. 좋은 질문을 해주셔서 감사드리며 좋은 하루 되세요

Celery worker 튜닝을 통한 성능 개선 부분 질문

안녕하세요. HanKyul Kim 님 수강 감사드립니다.아주 좋은 질문을 해주셨습니다.확인해보니, worker 수를 10개 -> 15개 -> 9개로 조정했을 때 8~9초에서 개선이 미미한 이유는 태스크가 너무 가볍고, 태스크 자체의 실행 시간이 짧아서 worker 간 병렬 처리의 이점이 두드러지지 않을 수 있습니다.브로커(RabbitMQ)나 결과 백엔드(RPC)의 오버헤드가 더 큰 영향을 미쳤을 가능성이 높아요. 지금 태스크는 단순 문자열 반환이라 worker 수를 늘려도 병렬 처리 이득이 크지 않고, worker_prefetch_multiplier=9로 설정된 상태에서 태스크 예약과 통신 비용이 병목일 수 있습니다.이 값은 각 worker가 한 번에 미리 가져오는 태스크 수를 의미해요. worker가 10개라면 최대 90개의 태스크를 동시에 예약할 수 있고, 15개라면 135개까지 가능합니다. 하지만 태스크가 10,000개로 충분히 많더라도, prefetch로 인해 worker가 태스크를 과도하게 예약하면 브로커(RabbitMQ)와 worker 간 통신 오버헤드가 늘어나 성능 개선이 제한될 수 있습니다.또한, worker 수를 10개 -> 15개로 늘렸을 때, 시스템의 CPU 코어 수를 초과하거나 메모리 사용량이 포화 상태에 가까워졌다면, 추가 worker가 오히려 컨텍스트 스위칭 비용을 늘릴 수 있어요. 반대로 9개로 줄였을 때도 태스크가 워낙 가볍고 빠르게 끝나서 리소스 활용도가 이미 최적화된 상태일 가능성이 있습니다.테스트로 현실적이 부하를 일으킬 수 있는time.sleep(0.02)를 넣거나, prefetch 값을 1~4로 낮춰보시고, CPU 코어 수에 맞춰 worker 수를 조정해보세요. 그리고 나서 celery -A app worker -l info 로 실행 후 로그를 확인하면 리소스 활용도를 파악하실 수 있습니다. 추가 질문 있으면 언제든 말씀해주세요!수강 감사드립니다.항상 좋은 강의가 되도록 하겠습니다.

섹션1 Array 강의 default value 질문

좋은 질문 감사드립니다. 제가 혼동을 드려 죄송한 말씀드립니다.default value 는 변수 초기화 값을 의미한 것입니다.감사합니다.

노션 사용권한 이슈 문의 드립니다.

다시 링크 수정했습니다 ☺감사합니다