172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
EDA 과정 중에 # 기초통계 train(object) train.describe(include='O') # 기초통계 test(object) test.describe(include='O') train과 test 데이터의 unique 값이 동일하다면 실제 카테고리 값 자체 비교 없이 바로 인코딩 해도 문제 없나요? 카테고리 값을 비교해서 안전하게 하고 싶지만, 굳이 안 그래도 되는 거면 안 하려고 합니다!!
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
안녕하십니까. 강의 잘 듣고 있습니다. 다름이 아니라 선생님의 풀이와 제 풀이의 답은 같으나 과정에서 약간의 차이가 있어 질문 드립니다. 우선 예제 2번의 경우 저는 import requests from bs4 import BeautifulSoup res=requests.get(' https://davelee-fun.github.io/ ') soup=BeautifulSoup(res.content, 'html.parser') items= soup.select _one('h1.sitetitle') print(items.get_text()) 이러한 풀이 방식을 썼습니다. 의도를 표현해보자면 'Teddy의 선물 블로그' 라는 단일 데이터 를 뽑아낼 것이므로 'select'가 아닌 특정 포인트만 뽑아 주는 'select_one'을 사용 했으며, 역시나 단일 데이터를 뽑아낼 것이므로 굳이 반복문인 'for ~ in ~'을 쓰지 않고 'print'만을 사용 했습니다. 이러한 저의 접근 방식이 오류가 없는지 궁금합니다. 아래의 풀이는 선생님께서 해주신 풀이 입니다. import requests from bs4 import BeautifulSoup url = ' https://davelee-fun.github.io/ ' res = requests.get(url) soup = BeautifulSoup(res.content, 'html.parser') items = soup.select ('h1.sitetitle') for item in items: print (item.get_text().strip()) 예제 4번 질문 입니다. 4번의 경우 저의 풀이는 import requests from bs4 import BeautifulSoup res=requests.get(' https://davelee-fun.github.io/ ') soup=BeautifulSoup(res.content, 'html.parser') items= soup.select ('section.featured-posts h4.card-text') for item in items: print(item.get_text().strip()) 이러한 풀이 방식을 썼습니다. 그 의도는 items= soup.select ('section.featured-posts h4.card-text')에서 보면 section 이라는 태그의 .featured-posts 이라는 클래스명 산하의 h4 이라는 태그의 .card-text 클래스명을 가진 것들의 데이터를 추출하고 싶다는 뜻 이였습니다. 저는 이것을 'section.featured-posts h4.card-text' 이라는 방식으로 띄워쓰기 를 이용하여 한 번에 표현해도 문제 없을 것이라고 판단했으나 선생님의 풀이를 보았을 때 import requests from bs4 import BeautifulSoup url = ' https://davelee-fun.github.io/ ' res = requests.get(url) soup = BeautifulSoup(res.content, 'html.parser') box = soup.select _one('section.featured-posts') items = box.select ('h4.card-text') for item in items: print (item.get_text().strip()) 라는 방식으로 어떻게 보면 두 번으로 나누어 표현했음을 이해했습니다. 단순 방식의 차이인지 제가 틀리게 표현 했는데 우연히 맞은 것인지 알고 싶습니다. 마지막으로 6번 예제 질문입니다. 6번의 경우 저의 풀이는 import requests from bs4 import BeautifulSoup res=requests.get(' https://davelee-fun.github.io/ ') soup=BeautifulSoup(res.content, 'html.parser') items= soup.select ('div.container.text-center > span') print(items.get_text().strip()) 이러합니다. 의도를 설명하지면 div 이라는 태그의 .container 와 .text-center 이라는 두 개의 클래스명을 지닌 것 바로 아래의 > span 라는 태그 내의 데이터를 추출하고 싶다는 의미였습니다. 이렇게 하면 'Never miss a story from us, subscribe to our newsletter' 라는 내용을 뽑아 낼 수 있을 것으로 보았으며, 'Never miss a story from us, subscribe to our newsletter' 라는 단일 데이터를 추출 하는 것이니 'select'를 썼더라도 굳이 반복문인 'for ~ in ~'을 사용하지 않아도 될 것 이라고 생각했지만 'AttributeError: ResultSet object has no attribute 'get_text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?' 라는 오류가 떴습니다. 그래서 items= soup.select ('div.container.text-center > span') for item in items: print(item.get_text().strip()) 또는 items= soup.select _one('div.container.text-center > span') print(items.get_text().strip()) 라고 바꾸어 써보니 제대로 된 답이 출력 되었습니다. 저의 첫 오답의 경우 items= soup.select ('div.container.text-center > span') print(items.get_text().strip()) 이 구문은 items가 list 형식이며, 그래서 for 반복문을 사용하지 않고는 get_text()를 사용할 수 없다는 ai의 답변을 받았지만 뭔가 알듯 말 듯한 느낌이라 다시 설명을 듣고 싶습니다. 그리고 제대로 된 답이 도출 된 위 두 개의 경우의 차이를 알고 싶습니다. 긴 글 읽어주셔서 감사합니다. 좋은 하루 보내세요.^^
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모의문제 1 풀기전에는 concat을하고 분리까지했었는데 모의문제1에서 인코딩할때는 왜 concat을 안쓰고 바로 한건가요?? 이해가 잘 안됩니다 개념이
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
가설검정의 독립표본 검정과 카이제곱 적합도 검정을 서로 대체하여 사용할 수 있는지 문의드립니다! 독립표본도 서로 다른 2개의 집단 (표본)의 차이를 확인하는 것 처럼 카이제곱 적합도 또한 서로 다른 2개의 집단 (관측, 기대치)의 차이를 구하게 되는데, 그럼 이때 서로 대체하여 쓸 수 있는지 해서 여쭤봅니다! (물론 카이제곱 적합도 예제에서 독립표본 구하는 맨휘트니를 적용하니깐 값이 다르게 나오긴 합니다...^^)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
합격만 목표로 했을 때 작업형 3에서 필수로 들어야 하는 강의는 무엇인지 알려주세요 !
해결됨
Next.js 완벽 마스터 (v15): 노션 기반 개발자 블로그 만들기 (with 커서AI)
안녕하세요. 강의 내용과 다르게 author 데이터가 안나와서 콘솔로그 찍어서 확인해보니, properties.Author.people 항목에 name이 없네요. 다른 데이터는 조회되고 있는데 왜 안나오는지 도저히 답을 찾을 수 없네요. 공식문서 봐도 응답형식 같은게 바뀐건 아닌것 같아보입니다. AI Assistant에 여러번 질문해봐도 명확한 해결책을 찾지 못했습니다. 이 부분때문에 진도를 나가기 쉽지 않은 상황인데 빠른 답변 부탁드립니다.
미해결
실전에서 바로 써먹는 Elasticsearch 입문 (검색 최적화편)
Elastic Cloud 에서 "Logs and metrics" 기능 활성화를 통해 나중에 문제 발생시 로그 및 매트릭 확인을 위해서 해당 기능을 활성화 하고자 하는데요. 이 기능은 좋은데 문제점이 너무 빠르게 용량을 잡아 먹는다는 것 입니다. 저 예산으로 가야 되는 상황이라 어쩔 수 없이 낮은 사양으로 할 수 밖에 없는 상황이지만 그렇다고 "Logs and metrics" 기능을 비활성화 하기에 나중에 문제 발생시 대처가 안 될 것 같아서 고민이 됩니다. 한번 여러 방면으로 대책법을 찾아보니 필수 로그 및 메트릭만 수집 (필터링) 수집 주기 조정 (Metrics 기준) 이렇게 대응 방법을 말해주고 있는데요. 지금부터 ChatGPT 가 답변해준 글을 공유 하도록 하겠습니다. ================================================== 💥 주요 성능 부하 원인 🔁 수집량 과다 수집 주기 짧음, 많은 필드 → 데이터 폭주 📥 Ingest Pipeline 부하 Elastic Agent가 사용하는 Ingest Pipeline이 CPU/RAM 자원 소비 💾 인덱싱 부하 많은 로그가 빠르게 들어오며 디스크 I/O 및 CPU 부하 증가 🔍 자동 매핑 확장 필드가 자동으로 확장되어 메모리, 클러스터 상태 불안정 🧠 ILM 미적용 / 장기 보존 오래된 데이터가 계속 쌓이며 성능 하락 및 디스크 압박 ✅ 해결책: 성능 최적화 전략 1. 필수 로그 및 메트릭만 수집 (필터링) 수집 대상 최소화: log.level: error , source: app-* 등 필요 데이터만 수집 예: Elastic Agent policy에서 수집 대상 제외 설정 processors: - drop_event: when: not: equals: log.level: "error" 2. 수집 주기 조정 (Metrics 기준) 리소스기본 주기추천 조정Metrics (System, Docker 등)10s~15s→ 30s~60s로 늘리기 Elastic Agent 정책에서 조정 가능 (Kibana → Fleet → Integration Policy → Advanced options) 3. ILM 수명주기 정책 설정 오래된 로그/메트릭 자동 삭제 또는 cold/warm tier로 이동 예: logs-* , metrics-* 인덱스 7일 후 삭제 📍 Elastic Agent Policy 설정 페이지 찾는 방법 🔹 경로: Kibana에 로그인 왼쪽 메뉴에서 "Management" → "Fleet" 클릭 → Fleet 은 Elastic Agent를 중앙에서 관리하는 UI입니다. 상단 탭에서 "Agents" 또는 "Agent policies" 클릭 원하는 정책 이름 클릭 (예: Agent policy 1 ) Integrations 리스트 가 보이면, 로그/메트릭 관련 항목 클릭 (예: System , NGINX , Kubernetes 등) Advanced Options 또는 Streams 탭에서 수집 조건/필터 조정 가능 🎯 필수 로그/메트릭만 수집하는 핵심 위치 Integrations 안의 Stream 설정 예: system.syslog → enabled ✅ / ❌ 메트릭 → 수집 주기(Collect every 10s 등) Advanced YAML (고급 설정) 예를 들어, error 레벨만 수집하도록 필터 추가: processors: - drop_event: when: not: equals: log.level: "error" 🧭 화면 예시 흐름 Kibana └─ Management └─ Fleet ├─ Agent Policies ← 여기서 정책 선택 │ └─ [Agent policy 1] │ └─ System integration 등 클릭 │ └─ Streams or Advanced options 설정 ================================================== 이렇게 필수로그 수집 기능 및 수집 주기 조정 기능으로 조금이나마 성능 부하를 줄이고자 할려고 하는데요. 말 그래도 키바나 접속 해서 Fleet 페이지로 가서 먼저 agent policy 등록를 하고 등록한 agent policy 접근 해서 system-1 클릭하면 Edit System integration 페이지 접근 할텐데요. 여기서 Collect metrics from System instances 에서 Change defaults 클릭 하고 여기서 원하는 Period 를 설정 하면 되는게 맞는 것인지 궁금 합니다... 혹시 또 추가적으로 설정 해야 하는 부분이 있을까요?
미해결
쿠버네티스 어나더 클래스-Sprint 1, 2 (#실무기초 #설치 #배포 #Jenkins #Helm #ArgoCD)
88. ArgoCD Image Updater를 이용한 이미지 자동배포 ( 💻 실습) 강의 실습 도중 발생한 문제와 해결 방법에 대해서 공유 드립니다. ArgoCD를 통해서 2232 Application을 배포할 때 values-dev.yaml 파일을 사용하여 helm chart 앱을 생성했습니다. 강사님께서 제공해주신 git 코드(fork한 코드 repo, 하기 코드 블록)를 통해서 application 생성 했을 때, 자연스럽게 1pro/api-tester:1.0.0 이미지를 가지고 와서 pod를 생성했습니다. 2232/deploy/helm/api-tester/values-dev.yaml image: repository: 1pro/api-tester pullPolicy: Always tag: 1.0.0 이후 Image-updater를 사용하여 image의 변경사항을 감지하려고 했으나 image-updater 파드에서는 감지되지 않았고, 당연히 argo cd에서도 sync 되지 않았습니다. 해당 문제를 찾아보니 regex 식의 규칙과 기존 이미지의 이미지명 형태가 동일해야 image updater가 인지를 하는 것 같아 하기 argo application과 연결된 git 디렉토리의 코드(2232/deploy/helm/api-tester/values-dev.yaml)를 같게 변경했더니 image-updater가 정상동작하면서 auto sync도 제대로 실행되었습니다. image: repository: alchdliodd/api-tester pullPolicy: Always tag: 1.1.1-250604.171111 강의 영상에서는 이렇게 맞추지 않아도 정상적으로 동작하는 것 같았는데, 이 현상이 argo image updater의 버그인지, 아니면 원래 해당 규칙을 맞추어야 하는 것인지 문의 드립니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, section21.Quiz부분에 대한 해설 및 강의를 듣고싶은데 어디서 들을 수 있는지 문의드립니다! 모의문제도 아니고 모의고사도 아닌것같더라구요! ㅠㅠ
해결됨
쿠버네티스 어나더 클래스-Sprint 1, 2 (#실무기초 #설치 #배포 #Jenkins #Helm #ArgoCD)
안녕하세요 ! 강의 5분에 hostPath, local 사용 목적에 관한 질문이 있어 글을 남기게 되었습니다. 사용 목적 2번에서 노드의 디스크 공간이 한정적이라 디스크 공간이 부족해져서 노드가 죽어버리면 그 노드 위에 다른 Pod들도 함께 죽는다고 말씀해주셨습니다. 여기서 생긴 의문은 hostPath로 node의 Volume을 사용하든 PVC/PV를 이용하여 Volume을 사용하든 특정 Pod에서 사용량이 많으면 어떤 경우든 죽어버릴 것 같다는 것입니다. 아니면, hostPath는 용량을 설정하지 않는데 비해, PVC/PV에서는 용량을 설정해주는 옵션이 있어 해당하는 Pod만 죽고 다른 Pod에는 영향이 없는 걸까요?
미해결
쿠버네티스 어나더 클래스-Sprint 1, 2 (#실무기초 #설치 #배포 #Jenkins #Helm #ArgoCD)
안녕하세요 섹션 18 - 82번 강의 : 배포 파이프라인 구축 후 마주하게 되는 고민들(실습) 수강 중 Jenkins 파일에 대한 질문이 있어 문의 드립니다. Jenkins 파일을 작성할 때, parameter로 PROFILE(배포환경선택)과 DOCKERHUB_USERNAME(도커허브유저명)을 설정하셨는데 하기 코드를 보시면 parameters { // 배포 환경 선택 choice(choices: ['dev', 'qa', 'prod'], name: 'PROFILE', description: '배포 환경 선택') // DockerHub 사용자명 입력 string(name: 'DOCKERHUB_USERNAME', defaultValue: '', description: 'DockerHub 사용자명을 입력하세요.') // GitHub 사용자명 입력 string(name: 'GITHUB_USERNAME', defaultValue: '', description: 'GitHub 사용자명을 입력하세요.') } stage('헬름 배포') { steps { // helm 명령 사용 - [1] 중요 데이터 암호화 관리 withCredentials([file(credentialsId: 'k8s_master_config', variable: 'KUBECONFIG')]) { sh "helm upgrade api-tester-${CLASS_NUM} ./${CLASS_NUM}/deploy/helm/api-tester -f ./${CLASS_NUM}/deploy/helm/api-tester/values-${params.PROFILE}.yaml" + " -n anotherclass-222-${params.PROFILE} --install --kubeconfig " + '${KUBECONFIG}' + // [5] Helm 부가기능 " --wait --timeout=10m" + // 최대 10분으로 설정 // [2] 잦은 배포 - versioning 무의미, 계획된 배포 - versioning 필수 " --set image.tag=${TAG}" + " --set image.repository=${DOCKERHUB_USERNAME}/api-tester" } } } PROFILE은 앞에 "params"가 붙어있고 (${params.PROFILE}), DOCKERHUB_USERNAME은 환경변수처럼 그냥 ${DOCKERHUB_USERNAME}로 사용하신 것을 볼 수 있습니다. 혹시 choice문을 사용하여 사용자가 선택하는 prarmeter의 경우 params를 붙인다던가 하는 규칙이 있는 걸까요? 위 두 개 사용 방법이 다른 것에 원인이 있는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
f1 스코어는 macro옵션을 다중분류일때만 넣으면되는건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
df = pd.DataFrame({ 'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29], 'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12], 'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B'] }) y_train = df.pop('target') x_tr, x_val, y_tr, y_val = train_test_split(df, y_train, test_size=0.5, random_state=123) print(x_tr.shape, x_val.shape, y_tr.shape, y_val.shape) model_rfc = RandomForestClassifier(random_state=42) model_rfc.fit(x_tr, y_tr) y_proba_val_rfc = model_rfc.predict_proba(x_val) print(y_proba_val_rfc) roc = roc_auc_score(y_val, y_proba_val_rfc[:,1]) print(roc) (5, 2) (5, 2) (5,) (5,) [[0.29 0.71] [0.92 0.08] [0.7 0.3 ] [0.74 0.26] [0.45 0.55]] 1.0 ------------------------------------------------------------------------- df = pd.DataFrame({ 'f1': [2, 3, 5, 7, 11, 13, 17, 19, 23, 29], 'f2': [30, 28, 26, 24, 22, 20, 18, 16, 14, 12], 'target': ['A', 'A', 'A', 'B', 'B', 'A', 'A', 'A', 'A', 'B'] }) target = df.pop('target') X_train, X_val, y_train, y_val = train_test_split(df, target, test_size=0.5, random_state=0) clf = RandomForestClassifier(random_state=42) clf.fit(X_train, y_train) y_pred = clf.predict_proba(X_val)[:,1] print(y_pred) # 예측값 roc_auc_score(y_val, y_pred) # 정확도 평가 [0.68 0. 0.25 0. 0.26] np.float64(0.25)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
1분내로 코드를 실행해야 한다는건 알고 있는데요, 이 부분이 시험치면서 직접적으로 어느 부분에 영향을 주나요?? 채점할때 제 코드가 1분내로 실행이 안되면 감점인건가요? 아니면 그냥 제가 문제풀때 1분이 지나면 자동으로 실행결과가 사라지는 부분이 불편한건가요?ㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2-3 문항의 강의를 보면 'id' 항목만 삭제하고 학습/검증 Data 분리 後 바로 모델평가로 들어가는데요 수치형에 대한 Data Scaling 이 Skpi되는 이유가 뭔지 궁금해서 MinMaxScaler또는 StandardScaler를 해줘야 하는거 아닌가요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의에서 알려주신대로 캐글에서 많은 연습문제를 접해보려고 하는데 데이터 주소에 에러가 자꾸 뜨네요 어떻게 해야 캐글 연습을 해볼수 있을까요?
미해결
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
예전에는 됐었는데 이젠 막힌 건가요? 봇탐지 기술 이것저것 써봐도 잘 안되네요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 다름이 아니라 작업형 1, 3번은 답변을 적는 페이지가 따로 있는데 코드 적는 풀이도 채점을 받게 되는 건가요? 강의에서 보면 중간 print들은 지워주라는 말씀을 몇 번 하셨는데 꼭 답변 부분만 print로 출력해야 하는지, 중간 과정은 출력하면 안되는지, 또 혹시라도 답변 부분을 print로 확인 후 주석 처리 시 감점 요인인지 궁금합니다. 저는 제출한 답안만 평가 대상이라고 생각했는데 저의 풀이과정 코드도 평가 대상일까요??
미해결
Next + React Query로 SNS 서비스 만들기
프라이빗 컴포넌트로 잡은 것과 그냥 컴포넌트로 잡은 것의 차이가 없지 않나요? 컴포넌트를 예로 강의를 찍어 주셨는데 폴더만 더 늘어나고 좋은 예는 아닌듯합니다. 프라이빗 폴더가 어떨 때 왜 필요한지를 알려주는게 더 교육적일 것 같아 글 남깁니다. 컴포넌트 자체가 재사용성을 갖는 것이기에 내부 구성요소만 표기하는 프라이빗은 큰 의미가 없을 것 가은데요. 컴포넌트 외 폴더라고 해도 와닿지는 않습니다. 어차피 컴포넌트로 사용하면 uri 에도 잡히지 않고 말이죠. 전체적으로 폴더 구조만 더 복잡해지는 것 같아요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 강의가 누락된거같은데 어디서 볼 수 있을까요?
