저만 안 되는 것인가요? ㅠㅠ

안녕하세요 Inhwa Choi님,localhost를 사용할 때 어떤 운영체제에서는 0.0.0.0이 되고, 어떤 운영체제에서는 127.0.0.1이 되는 이유는 운영체제의 네트워크 설정 방식과 특정 소프트웨어의 기본 바인딩 주소 차이 때문입니다.운영체제 자체는 일반적으로 localhost를 127.0.0.1로 해석하지만, 특정 네트워크 설정이나 애플리케이션의 기본 바인딩 방식에 따라 0.0.0.0이 될 수도 있습니다.이를 확실히 구분하려면 /etc/hosts 파일과 애플리케이션의 네트워크 바인딩 옵션을 확인하는 것이 중요합니다.차이는 없으니, 별로 신경쓰지 않으시고 되는 걸로 하시면 됩니다 ㅎㅎ

standalone_celery 에만 작성된 task 들은 호출할 수 없나요?

안녕하세요 jh1one님,좋은 질문입니다. standalone_celery에 작성된 task를 실행하려면 해당 Docker 컨테이너 내부(standalone_celery)에서 실행해야 합니다. Django는 기본적으로 PYTHONPATH를 자동으로 설정해 주기 때문에 Python REPL에서 바로 import할 수 있지만, standalone_celery에서는 강의에서 설명한 대로 다소 어려울 수 있습니다. 그러나 PYTHONPATH를 적절히 설정하면 Python REPL에서도 동일하게 실행할 수 있습니다.그리고 standalone_celery 에 main.py 보시면 어떤 Task가 어디 Queue에 할당되어 있는지 나와있을 겁니다.제 팁으로는 조금 강의 더 들으시다가 Flower API를 사용하시는게 더 쉬우실 겁니다 😄마지막으로 Celery 의 task 에 작성된 함수들이 queue 로 실행된다은 거의 맞는 말입니다.밑에 AI인턴이 설명한대로, Queue에 Task가 설정되고, 그 Queue를 듣고 있는 Celery worker가 Task를 처리합니다.

index join 에 대한 질문

안녕하세요 junha.park님,Elasticsearch에서는 밑에 AI가 얘기한 것처럼 기본적으로 index 간 join을 지원하지 않습니다.Elasticsearch는 RDB처럼 join을 할 수 없기 때문에 데이터 중복을 감수하고 index를 설계하는 것이 일반적입니다. 이를 Document Denormalization이라고 합니다.따라서 dogs와 men 데이터를 하나의 document로 저장하는 방법이 가장 효율적입니다.{ "dog_name": "Buddy", "owner_name": "John", "owner_id": 123 } 이렇게 하면 하나의 index에서 바로 검색이 가능하므로 주인이 있는 개 vs 없는 개 비율을 쉽게 분석할 수 있습니다.또한 밑에 말한 것처럼 Kibana에서 Vega(데이터 시각화 DSL) 또는 Lens를 사용하여 두 개의 index를 조합해서 분석할 수 있다고 하는데 제가 안해봐서 뭐라 말씀을 못 드리겠네요.https://www.elastic.co/guide/en/kibana/current/vega.html 한번 보시면 도움이 될 것 같네요.

Logging 질문

안녕하세요 ansghltjd9님,Django의 runserver를 실행할 때 자동으로 리로드(Auto-reload)가 발생하는 이유는 django.utils.autoreload가 파일 변경을 감지하는 방식 때문입니다.Django의 개발 서버 (runserver)는 코드 변경을 감지하여 자동으로 재시작하는 기능이 있습니다. 이 기능은 django.utils.autoreload 모듈을 사용하여 특정 디렉터리의 파일 변경 여부를 감지합니다. 파일의 변경을 감지하는 주요 방식은 다음과 같습니다.파일의 수정 시간 (mtime) 감지Django는 실행 중인 Python 파일들의 mtime (modified time, 수정 시간)을 주기적으로 확인합니다.mtime이 변경되면 Django는 이를 코드 변경으로 간주하고 자동으로 리로드합니다.sys.modules를 이용한 파일 추적Python이 로드한 모든 모듈 (sys.modules)을 순회하면서 해당 파일의 변경 여부를 확인합니다.로그에서 보시면 ...{ "asctime": "2025-02-14 20:41:50,823", "levelname": "DEBUG", "name": "django.utils.autoreload", "message": "File C:\\Users\\moon\\miniforge3\\envs\\workout\\Lib\\site-packages\\PIL\\__init__.py first seen with mtime 1739352505.781736" }Django가 PIL (Pillow 라이브러리)의 __init__.py 파일을 감지하고, 이 파일의 mtime 값(1739352505.781736)을 처음 인식했다고 로그에 남겼습니다. 보기가 불편하시다면 자동 리로드 기능을 끄고 실행하는 방법도 있습니다.python manage.py runserver --noreload이렇게 하면 django.utils.autoreload가 동작하지 않으므로, 불필요한 리로드를 방지할 수 있습니다.

섹션2 ["환경 vs. 설정 vs. 구성"] 강의 자막 문의

안녕하세요 티읕이응님,예리하시네요 ㅎㅎㅎ 디자이너 님이 실수하신 것 같네요. 말씀하신 점이 맞습니다! 환경 / 구성 / 설정Environment / Configuration / Setting

시스템 디자인 2권이나 머신러닝에 대한 계획

안녕하세요 에반황님,좋은 질문 입니다. 아직까지는 계획에 없습니다. 제가 3권 다 보기는 했는데, 1권 이상은 특정한 산업에 있지 않는 이상 필요가 없어 보이더라구요. 하지만 필요한 자료가 있다 싶으면, 저희의 경험을 중심으로 다시 보충해보겠습니다.

파이썬 data insert to table

안녕하세요 hunter님,현재 코드에서는 executemany()를 사용해 Hive 테이블에 한 줄씩 데이터를 삽입하고 있습니다. 한 줄씩 삽입하는 방식(INSERT INTO VALUES)은 비효율적이며, 파일 단위로 한 번에 적재하는 것이 훨씬 빠릅니다. executemany() 대신 데이터를 CSV 또는 Parquet 파일로 저장한 후, Hive에 로드하는 방식이 더 적절합니다. 그리고 Google Sheets 데이터를 CSV로 변환하여 로드하는 것이 훨씬 빠를 수 있습니다 - get_all_values()는 전체 데이터를 한 번에 가져오므로 데이터가 많을 경우 속도가 느려집니다. 흠... 마지막으로 df.loc[i]를 사용한 반복문은 매우 비효율적이며, 성능을 크게 저하시킵니다. itertuples()을 사용하면 속도가 훨씬 빨라집니다.data = [ (row.a, row.b, row.v, row.d, row.e, row.f, row.g, row.h, row.i) for row in df_hc_list.itertuples(index=False) ]근데, 제가 하이브를 여기서 가르쳐드렸나요? 기억이...

multi node로 띄우는 상황에서 궁금증이 생겨 질문을 남깁니다

안녕하세요 가보자!!님,Docker Compose를 프로덕션 수준으로 구성하려니 해야 할 일이 많네요. Nginx를 설정하여 로드 밸런싱(Client acess)을 구현해야 하고, 인증서 관련 문제(TLS 적용, RBAC 활용, 인증서 개별 적용)도 해결해야 하며, 각 노드별 역할(Master, Data, Ingest, Coordinating Node)도 명확히 지정해야 할 것 같습니다. 또한, 보다 많은 컨테이너가 필요할 것으로 보이네요.아쉽지만 Compose로는 완벽한 Fault Tolerance를 만들기는 힘들어 보입니다.

동시성 관련되어 궁금증이 생겨 질문을 남깁니다

안녕하세요 가보자!!님,네, 그렇습니다.특정 시점에서 조회한 seq no와 primary term을 유지하고, 업데이트 요청 시 함께 보내서 변경된 데이터가 없을 때만 업데이트가 적용되도록 보장해야 합니다.

multi node로 띄우는 상황에서 궁금증이 생겨 질문을 남깁니다

안녕하세요 가보자!!님docker-compose파일을 보면 es01에만 포트 포워딩이 되어있는데! 클라이언트와는 es01만 통신을 하는건가요? primary shard는 es02, es03도 될수 있는거 같아서 질문을 남깁니다.-> 네, 현재 docker-compose.yml 파일에서 es01에만 포트 포워딩이 설정되어 있습니다.# Line 92 ports: - ${ES_PORT}:9200즉, 외부 클라이언트(예: Kibana, 애플리케이션)에서 직접 접근할 수 있는 유일한 노드는 es01입니다.es02와 es03은 클러스터에 참여하지만, 외부에서는 접근할 수 없습니다. 그러나 Primary Shard는 es02, es03에서도 생성될 수 있습니다.Elasticsearch의 기본적인 샤드 할당 방식에 따라 Primary 및 Replica Shard는 모든 노드에서 배치될 수 있기 때문입니다. es01노드를 shut down시키면 service unavailable이 되는데! 이렇게 되면 진정한 의미에서의 Fault Tolerance가 안되는거 아닌가 하는 생각이들어서 질문을 남깁니다.(es01이 shut down되면 시간이 지나도 복구가 안되는 상황입니다..) -> es01을 종료했을 때 클러스터가 복구되지 않는 이유는, es01이 유일한 마스터 노드로 동작하고 있기 때문입니다.현재 설정에서 cluster.initial_master_nodes에 es01, es02, es03이 포함되어 있습니다.- cluster.initial_master_nodes=es01,es02,es03이는 클러스터 초기 부팅 시 es01, es02, es03 중 어느 하나가 마스터로 선출될 수 있도록 보장하는 설정입니다. 그러나, cluster.initial_master_nodes는 클러스터를 처음 시작할 때만 사용되고 이후에는 새로운 마스터 노드를 자동으로 선출하지 않습니다.즉, 클러스터가 실행된 이후에 es01이 마스터 노드가 되었고, es01이 죽으면 클러스터는 새로운 마스터를 자동으로 선출하지 못하게 됩니다.아마 es02와 es03에 - node.roles=master,data 를 넣으시면 아마 마스터 후보에 오를 거 같은데, 제가 한번 해봐야 되겠네요.