스케일링과 인코딩은 선택사항인가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2에서 어떨때는 스케일링과 인코딩을 하고, 어떨때는 하지 않는데 스케일링과 인코딩은 선택사항인가요??
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2에서 어떨때는 스케일링과 인코딩을 하고, 어떨때는 하지 않는데 스케일링과 인코딩은 선택사항인가요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 기출유형 작업형3 문제1-3 질문입니다. model = logit('gender ~ weight', data=train).fit() target = test.pop('gender') pred = model.predict(test) >0.5 # (0.5보다 크면 1, 0.5보다 작으면 0) 학습 후 예측값을 넣어주는데 predict 라는 값을 그대로 넣어주는것이 아니라 조건을 넣어 True,False 의 값을 넣게됩니다. 앞전에 작업형2에서는 pred 값을 그대로 넣었는데 0.5 를 입력하여 pred 에 넣는이유는 무엇이고 0.5 는 어디에 정의되어 있는건지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 프레임 작성과정에서 위와 같이 오류가 나는 이유는 뭔가요....?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
실습 데이터와 강의 자료는 어디에서 찾을 수 있을까요? 위치 링크 부탁 드립니다.
미해결
비전공자를 위한 진짜 입문 올인원 개발 부트캠프
제목 그대로 입니다. 가장 최근에 업데이트 해주신게 벌써 2년전인데, 강의를 계속 걸어놓으시려면 적어도 매년 단위로UI 상태에 맞게 해당 부분만이라도 강의를 업데이트 해주셔야 할 것 같습니다.Mock server 부분 도저히 찾지못해 시간만 보내고 진척이 없습니다. 대체 어떻게 해야 하나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 선생님~ㅎ 유익한 강의와 시험을 위한 오징어게임에도 참여중인 수강생입니다! 다름이 아니라 어제자 미션에서 fillna를 이용해서 결측치 값을 컬럼의 중앙값으로 채워야 하는 부분이 있었는데요 ? 저는 결측치가 있는 column을 따로 지정하고 for문을 사용했는데.. 다른사람의 코드를 보니 df=df.fillna(df.median()) df의 median()은 어떤 값인지 .. 결측치가 하나일때는 그 값만 채워질것 같은데... 결측치가 여러개일때는 컬럼 사용없이 자동으로 결측치가 있는 컬럼의 결측치를 채워주는건가요 ?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 수업 잘 듣고 있습니다. 문제 풀이 중에 질문이 있어서 문의 남깁니다. 작업형 1 모의 8번 문제도 groupby 메소드를 사용하고 ( .groupby( ).sum() ) 모의 9번 문제도 groupby 메소드를 사용( .groupby( ).count() )한 다음 특정 조건의 값을 찾는 과정을 진행하는 부분에서 같아보입니다. 다만 8번 문제에서는 .reset_index( ) 와 .iloc[ ] 를 사용해 원하는 값을 출력했고, 9번 문제는 이걸 사용하지 않고 .index[ ] 로 사용해서 풀이를 하셧는데요. 그래서 스스로 연습해보려고 8번 문제에서는 .index[ ] 를 사용해서 풀어봤더니 ('대구', 0) 라고 나오더라고요. 9번 문제는 .reset_index( ) 와 .iloc[ ] 를 사용해서 정답인 "11"을 바로 출력 가능했습니다. 문제에서 가장 적거나(오름차순), 가장 많은(내림차순) 구하는 경우도 있지만, 몇번째 값을 찾으라는 것도 있으니 그냥 .reset_index( ) 와 .iloc[ ] 를 사용하는 법 하나만 외워서 풀어도 될까요?? 여러 방법을 알고 있으면 좋긴하겠지만, 제 경우는 서로 헷갈리는 경우가 있어 머리가 더 복잡하더라고요. 그래서 두 방법중에서는 .reset_index( ) 와 .iloc[ ] 사용법을 외우는게 괜찮지 않을까 싶어서 여쭤봅니다. 혹시 index[ ] 를 사용하는 법이 쉬우면서 범용성이 좋다면 요령을 알려주시면 감사하겠습니다 아래는 제가 연습하면서 작성한 코드입니다. 문제9 에 .reset_index( ) 와 .iloc[ ] 적용해서 품 # 문제 9 import pandas as pd df = pd.read_csv("members.csv") df["subscribed"] = pd.to_datetime(df["subscribed"]) df["month"] = df["subscribed"].dt.month df = df.groupby("month").count().reset_index() print(df.sort_values("subscribed",ascending=True).iloc[0,0]) 문제8에 .index[] 사용시 출력값이 깔끔하지 않음 # 문제 8 import pandas as pd df = pd.read_csv("members.csv") # print(df.head()) # print(df.isnull().sum()) df = df.fillna(method = "bfill") # << 바로 뒤에 있는 값으로 대체 method = "bfill" 바로 앞에 있는 값 대체 시, method = "ffill" # print(df.head()) # print(df.isnull().sum()) dfgb = df.groupby(["city", "f2"]).sum(numeric_only=True).reset_index() ## dfgb.sort_values("views",ascending=False).index[2] # 출력값 ('대구', 0) dfgb = dfgb.sort_values("views",ascending=False) dfgb.sort_values("views",ascending=False).iloc[2,0] # 출력값 '대구'
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
validation data나 마지막 test나 model.predict_proba()통해 확률로 결과를 얻고 나서, 평가 할때는 y_val이나 제공된 y_test 는 [0또는 1]로 구성된 배열입니다 이 경우, model.predict()로 우선 0또는 1로 예측하고 평가도 이미 주어진 y_val또는 y_test로 한 뒤 결과 제출시에만 model.predict_proba()를 사용해서 아웃풋 포멧에 맞춰야 하는것은 아닌가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
강의 7:04 초 쯤에 p-value값이 0.409 인데 0.04로 읽고 귀무가설을 채택한다 라고 말씀하시고 진행했는데... 잘못 말씀 주신거죠?ㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 안녕하세요, 뮤d =(after-before)의 평균 이라고 했는데 왜 평균이라는 표현을 쓰는걸까요?ㅎㅎ
미해결
파이썬/장고 웹서비스 개발 완벽 가이드 with 리액트 (장고 4.2 기준)
새로고침을해도 데이터베이스 테이블 목록에는 저거 밖에 안뜨는데 이유를 알수있을까요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 아래 보시면 학습용 데이터와 검증용 데이터로 구분하는 것은 이해가 되는데, y부터 마지막까지의 식이 왜 나오는지 이해가 안됩니다...다시 설명 부탁드립니다. # 학습용 데이터와 검증용 데이터로 구분 from sklearn.model_selection import train_test_split y = (y_train['income'] == '>50K').astype(int) X_tr, X_val, y_tr, y_val = train_test_split(X_train, y, test_size=0.1, random_state=2000)
미해결
Next + React Query로 SNS 서비스 만들기
prefetchQuery 서버컴포넌트에서 데이터를 한번 불러오면, 정상적으로 불러왔는지 확인할 수 있나요?? 서버 컴포넌트에서 prefetchQuery한 다음에 클라이언트컴포넌트에서 useQuery로 불러오게 되면(queryKey 동일) 이미 데이터가 저장 되어 있는거로 알고 있는데, console.log를 찍어보게 되면, undefined가 뜬 다음에 데이터가 호출 됩니다. prefetchQuery가 정상적으로 동작 안하는게 아닌가 싶습니다. export default function TestClient() { const { data } = useQuery({ queryKey: ['typeData'], queryFn: getTypeData, }); console.log(typeData); ... export default async function TestServer() { const queryClient = new QueryClient(); await queryClient.prefetchQuery({ queryKey: ['typeData'], queryFn: getTypeData }); const dehydratedState = dehydrate(queryClient); return ( <> <HydrationBoundary state={dehydratedState}> <TestClient /> </HydrationBoundary> </> ); }
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
print(sum(df.sum() > 3000))이 부분에서 오류가 납니다... 어떤 문제일까요?? 파이썬 버전은 3.11.7 버전을 사용하고 있구 선생님이 제공해주신 수업파일을 vscode로 가져와서 사용하고 있습니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 필사전략에 있는 19:33초에 데이터가 가려져있는부분 이 크롬에 표시가 안되는것 같은데 혹시 없어진건가요? 데이터가 가려진거 같은데 >ㅣ 이 모양 누르는게 없어져서 어디서 가려진 데이터를 볼수있나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2. 데이터에서 'solar'와 03' 값을 고정한 상태에서, 'wind'의 세기가 증가함에 따라 'temperature'가 감소하는지를 검증하기 위해 다중 선형 회귀 분석을 수행하고, 'wind'의 회귀 계수에 대한 p-value 값을 구하시오. (유의수준: 0.05) 위의 문제를 보면 wind의 회귀계수에 대한 p-value 를 구하고 답안으로 제출되는데. 앞에 나열된 전제조건은 "데이터에서 'solar'와 03' 값을 고정한 상태에서, 'wind'의 세기가 증가함에 따라 'temperature'가 감소하는지를 검증" 은 별다른 작업이 이루어 지지 않아서 이해가 잘 되지 않아서 질문드립니다.
미해결
실습으로 끝장내는 웹 크롤링과 웹 페이지 자동화 & 실전 활용
쿠팡 상품 썸네일 전체 다운받기 강의에서 동일하게 코드 작성 후 실행하였지만, 다른 크롤링 정보는 정상작동하지만, 파일이 지정된 폴더로 다운이 되지 않습니다. <작성한 코드> import requests from bs4 import BeautifulSoup base_url = "https://www.coupang.com/np/search?component=&q=" keyword = input("검색할 상품을 입력하세요 : ") url = base_url + keyword headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" } cookie = { "a" : "b" } req = requests.get(url, timeout=5, headers=headers, cookies=cookie) html = req.text soup = BeautifulSoup(html, "html.parser") items = soup.select("[class=search-product]") rank = 1 for item in items: badge_rocket = item.select_one(".badge.rocket") if not badge_rocket: continue name = item.select_one(".name") price = item.select_one(".price-value") thumb = item.select_one(".search-product-wrap-img") link = item.select_one("a")['href'] print(f"{rank}위") print(item["class"]) print(name.text) print(f"{price.text} 원") print(f"https://www.coupang.com{link}") # print(thumb) if thumb.get("data-img-src"): img_url = f"http:{thumb.get('data-img-src')}" else: img_url = f"http:{thumb['src']}" print(img_url) print() img_req = requests.get(img_url) with open(f"07_coupang/{rank}.jpg", "wb") as f: f.write(img_req.content) rank+=1 키워드는 '노트북'이고, 저장하려는 폴더 이름은 07_coupang, 위치는 "C:\project\Webcrawling\07_coupang" 입니다. 어떤 것이 문제일까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글필사전략 강의의 18:29 에 보이는 예상문제들과 주소는 어디가야 볼수있나요? (캐글에 Dataset->code 에는 18:29에서 보이는 화면과 다르게 정렬이 안되있는것 같아서요)
해결됨
실전! Django 활용
안녕하세요. 실습 진행 중에 처음부터 잘 안돼서 메세지 드립니다. python magage.py showmigration 하고 migrate 후에 sqllite 파일 삭제했습니다. 다시 prostresql 도커 적용하고 그 후부터 에러가 나네요. python manage.py showmigrations admin [X] 0001_initial [X] 0002_logentry_remove_auto_add [X] 0003_logentry_add_action_flag_choices auth [X] 0001_initial [X] 0002_alter_permission_name_max_length [X] 0003_alter_user_email_max_length [X] 0004_alter_user_username_opts [X] 0005_alter_user_last_login_null [X] 0006_require_contenttypes_0002 [X] 0007_alter_validators_add_error_messages [X] 0008_alter_user_username_max_length [X] 0009_alter_user_last_name_max_length [X] 0010_alter_group_name_max_length [X] 0011_update_proxy_permissions [X] 0012_alter_user_first_name_max_length contenttypes [X] 0001_initial [X] 0002_remove_content_type_name sessions [X] 0001_initial 어떻게 하면 좋을까요? 장고 프로젝트 설치도 해보고 도커도 지워보고 했는데 잘 안돼서 메세지 드립니다. python manage.py makemigrations no Chages detected python manage.py migrate Operations to perform: Apply all migrations: admin, auth, contenttypes, sessions Running migrations: No migrations to apply. 아래의 setting 정보로 database 접속도 잘됩니다. DATABASES = { "default": { "ENGINE": "django.db.backends.postgresql_psycopg2", "NAME": "goodpang", "USER": "goodpang", "PASSWORD": "goodpang", "HOST": "127.0.0.1", "PORT": "5433", } }
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
제목 그대로 랜포만 돌리고 제출할려고 하는데 array length 2931 does not match index length 3257 에러 메세지가 뜹니다. 코딩의 어느 부분이 잘못되었는지 감을 못잡겠습니다. 알려주시면 감사하겠습니다.