2회 기출유형(작업형 2) 질문드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 라벨 인코딩을 진행했을 시에 X_train 데이터는 정상적으로 되는데 X_test 데이터는 아래 결과와 같이 뜨는 이유가 무엇인지 알 수 있을까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 라벨 인코딩을 진행했을 시에 X_train 데이터는 정상적으로 되는데 X_test 데이터는 아래 결과와 같이 뜨는 이유가 무엇인지 알 수 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
수업 자료(노트북 빈칸, 데이터 파일) 한꺼번에 받을 수 있는 방법이 있을까요? 매 강의마다 수업노트 탭으로 바꿔서 링크 들어가서 노트북 복사하고 별도 창으로 띄운 다음 다시 강의로 돌아오는 게 무척 번거롭습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
정답 구할 때 이 강의에서는 하드코딩 하지 말라고 했는데 질문들 보면 작업형1 에 답 적는 곳이 있어서 코드 상관없이 눈으로 결측치 많은 컬럼 확인 후 그냥 적어줘도 된다고 하더라구요 하드코딩 하지 말라고 한 이 강의 제작하실 때는 작업형1 제출할 때 코드로 제출하는 형식이었나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
cond=df['age'] <=0 df=df[~cond] 으로 0이거나 음수인값들을 제거를 한건데 첫작성) cond = df['age'] == round(df['age'],0) 수정작성) cond = df['age'] != round(df['age'],0 df=df[cond] 여기서 추가로 라운드로 0인값들을 제거한건가요? 첫작성 수정작성 하신 이걸 하신 이유가 뭔지 잘 이해가 안됩니다. 그리고 보시면 처음부터 cond 라는 변수를 수정작성까지 두번세번쓰면서 변수 내용이 계속 바뀐거 같은데 그 이유는 뭘까요 선생님~
미해결
12시간 안에 끝내는 파이썬을 활용한 크롤링
수업을 따라하던중 아래와 같이 발생됩니다. 원인을 알수가 없어서 후속 수업관련 따라하기가 곤란하테요ㅠㅠ import requests as req req.get(" https://www.naver.com") 상기와 같이 입력후 "Response [200]" 이라고 나타나지 않고 아래와 같이 나타납니다. 뭐가 잘못된건지 알수가 없어서 질의합니다. --------------------------------------------------------------------------- SSLCertVerificationError Traceback (most recent call last) File C:\ProgramData\anaconda3\Lib\site-packages\urllib3\connectionpool.py:468, in HTTPConnectionPool._make_request(self, conn, method, url, body, headers, retries, timeout, chunked, response_conn, preload_content, decode_content, enforce_content_length) 467 try: --> 468 self._validate_conn(conn) 469 except (SocketTimeout, BaseSSLError) as e: File C:\ProgramData\anaconda3\Lib\site-packages\urllib3\connectionpool.py:1097, in HTTPSConnectionPool._validate_conn(self, conn) 1096 if conn.is_closed: -> 1097 conn.connect() 1099 if not conn.is_verified: File C:\ProgramData\anaconda3\Lib\site-packages\urllib3\connection.py:642, in HTTPSConnection.connect(self) 634 warnings.warn( 635 ( 636 f"System time is way off (before {RECENT_DATE}). This will probably " ~ 중간 생략 ~ File C:\ProgramData\anaconda3\Lib\site-packages\urllib3\util\retry.py:515, in Retry.increment(self, method, url, response, error, _pool, _stacktrace) 514 reason = error or ResponseError(cause) --> 515 raise MaxRetryError(_pool, url, reason) from reason # type: ignore[arg-type] 517 log.debug("Incremented Retry for (url='%s'): %r", url, new_retry) MaxRetryError: HTTPSConnectionPool(host='www.naver.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006)'))) During handling of the above exception, another exception occurred: SSLError Traceback (most recent call last) Cell In[2], line 1 ----> 1 req.get("http://www.naver.com") File C:\ProgramData\anaconda3\Lib\site-packages\requests\api.py:73, in get(url, params, **kwargs) 62 def get(url, params=None, **kwargs): 63 r"""Sends a GET request. 64 65 :param url: URL for the new :class:`Request` object. (...) 70 :rtype: requests.Response 71 """ ---> 73 return request("get", url, params=params, **kwargs) File C:\ProgramData\anaconda3\Lib\site-packages\requests\api.py:59, in request(method, url, **kwargs) 55 # By using the 'with' statement we are sure the session is closed, thus we 56 # avoid leaving sockets open which can trigger a ResourceWarning in some 57 # cases, and look like a memory leak in others. 58 with sessions.Session() as session: ---> 59 return session.request(method=method, url=url, **kwargs) ~ 중간 생략 ~ File C:\ProgramData\anaconda3\Lib\site-packages\requests\adapters.py:517, in HTTPAdapter.send(self, request, stream, timeout, verify, cert, proxies) 513 raise ProxyError(e, request=request) 515 if isinstance(e.reason, _SSLError): 516 # This branch is for urllib3 v1.22 and later. --> 517 raise SSLError(e, request=request) 519 raise ConnectionError(e, request=request) 521 except ClosedPoolError as e: SSLError: HTTPSConnectionPool(host='www.naver.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self-signed certificate in certificate chain (_ssl.c:1006)')))
미해결
파이썬 증권 데이터 수집과 분석으로 신호와 소음 찾기
맥북 M1 pro 입니다. 저는 다음과 같은 방법으로 nbextensions 활성화가 가능했었습니다. conda update --all conda install -c anaconda notebook conda install -c conda-forge jupyter_contrib_nbextensions 터미널에서 위 3개를 순서대로 실행 후 jupyter contrib nbextension install --user 여기까지 실행하시고 Anaconda Navigator 를 켜시고 jupyter notebook 을 확인해보시면 버전이 6.5.7 로 바뀌어있을겁니다. 근데 실행하면 mac command tool 이 없니 뭐니 에러가 발생합니다.. 여기서 우측상단 설정 아이콘을 클릭하셔서 Update application 을 한 번 실행해주시고 업데이트 완료 후 다시 jupyter notebook 을 실행 하시면 nbextensions 가 잘 나옵니다!
해결됨
김영한의 실전 자바 - 중급 2편
에서 데이터를 hascode로 변환하고 그 hashcode로 hashindex에 넣는거를 구현했잖아요 자바 컬랙션에서 지원하는 hastSet,LinkedHashSet,TreeSet은 자바에서 hashCode는 지원하는건 알겠는데 저희가 배열에 값을 넣을때 따로 hashcode % 배열의크기 이 코드를 안넣어도되는건가요? 자바에서 hashCode도 생성해주고 hashIndex까지 생성해줘서 배열에 넣어주나요?
미해결
스프링 입문 - 코드로 배우는 스프링 부트, 웹 MVC, DB 접근 기술
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예) [질문 내용] 회원등록은 되는데 회원목록누르면 white label 뜹니다 ㅜㅡ https://drive.google.com/file/d/19-IiuPizWAnOi4x22F5cRLRD_8pE-19F/view?usp=drive_link 링크입니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 강사님 작업형2 모의문제1 제출과 관련하여 질문드립니다. 질문 1. 평가: ROC-AUC, 정확도(Accuracy), F1, 정밀도(Precision), 재현율(Recall)을 구하시오 작업형2의 경우 채점 시 코드는 보지 않고 csv 파일만 보는 것으로 알고 있는데 이 평가지표를 모두 다 구해야 하나요? 학습 차원에서 넣으신 문항인지, 실제 시험에서도 채점 대상에 들어가는 문항인지 궁금합니다. 질문 2. 5개의 평가지표로 평가 후 마지막에 예측할 땐 predict_proba를 사용하셨는데 이유가 궁금합니다. 5개의 지표 중 roc_auc_score의 수치가 가장 높아서 사용한 것인지, csv 예시에서 예측값이 확률 형태로 나와있어서 사용한 것인지 궁금합니다. 또한, predict 사용 시 감점되는지도 궁금합니다. 감사합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2 모음집 하는 도중 마지막 데이터 제출 데이터 파일 생성시 다음과 같은 오류가 나는데 왜 그럴까용..? [코드] #전처리 스케일링 target = train.pop('total') #원핫 print(train.shape, test.shape) train = pd.get_dummies(train) teset = pd.get_dummies(test) print(train.shape, test.shape) #분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size = 0.2, random_state=0) print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #모델평가 from sklearn.ensemble import RandomForestRegressor rf = RandomForestRegressor() rf.fit (X_tr,y_tr) pred = rf.predict(X_val) from sklearn.metrics import mean_squared_error def rmse(y_true, y_pred): mse = mean_squared_error(y_true,y_pred) return mse **0.5 result = rmse(y_val, pred) #테스트 제 pred = rf.predict(test) submit = pd.DataFrame({'pred':pred}) submit.to _csv("result.csv", index=False) [오류내역] --------------------------------------------------------------------------- ValueError Traceback (most recent call last) <ipython-input-23-e536b293909d> in <cell line: 68>() 66 67 # 7. 예측 및 결과 파일 생성 ---> 68 pred = rf.predict(test) 69 submit = pd.DataFrame({'pred':pred}) 70 submit.to_csv("result.csv", index=False) 3 frames /usr/local/lib/python3.10/dist-packages/sklearn/base.py in _check_feature_names(self, X, reset) 479 ) 480 --> 481 raise ValueError(message) 482 483 def _validate_data( ValueError: The feature names should match those that were passed during fit. Feature names unseen at fit time: - branch - city - customer_type - day_name - gender - ... Feature names seen at fit time, yet now missing: - branch_A - branch_B - branch_C - city_Mandalay - city_Naypyitaw - ...
해결됨
스프링 MVC 1편 - 백엔드 웹 개발 핵심 기술
@WebServlet(name = "requestParamServlet", urlPatterns = "/request-param") public class RequestParamServlet extends HttpServlet { @Override protected void service(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { String username = request.getParameter("username"); System.out.println("username = " + username); String age = request.getParameter("age"); System.out.println("age = " + age); request.getParameterNames().asIterator() .forEachRemaining(paramName -> System.out.println(paramName + ": " + request.getParameter(paramName))); String[] parameterValues = request.getParameterValues("username"); for (String parameterValue : parameterValues) { System.out.println("parameterValue = " + parameterValue); } } } http://localhost:8080/request-param?username=kim&age=20 http://localhost:8080/request-param?username=kim&age=20&username=park 으로 하면 오류 없이 잘 넘어가는데, http://localhost:8080/request-param 으로 하면 왜 오류가 나는 건가요? Whitelabel Error Page This application has no explicit mapping for /error, so you are seeing this as a fallback. Thu Jun 13 22:28:48 KST 2024 There was an unexpected error (type=Internal Server Error, status=500). 여러 번 시도해봤을 때, //코드3 String[] parameterValues = request.getParameterValues("username"); for (String parameterValue : parameterValues) { System.out.println("parameterValue = " + parameterValue); } 질문1: 코드3 때문에 오류가 나는 거 같은데 왜 오류가 나는지 이유를 모르겠습니다. http://localhost:8080/request-param 은 username의 값을 꺼내는 건데, username이 없어서 null이 나올 거고, 그걸 iterator로 돌리면 결국 그냥 null값이 나와야하지 않나 하고 생각했습니다! //코드1 String username = request.getParameter("username"); System.out.println("username = " + username); String age = request.getParameter("age"); System.out.println("age = " + age); 이 코드1는 null값을 뱉어내고 //코드2 request.getParameterNames().asIterator() .forEachRemaining(paramName -> System.out.println(paramName + ": " + request.getParameter(paramName))); 질문2: http://localhost:8080/request-param 로 들어가면, 코드2는 콘솔에 아무것도 프린트 되어있지 않습니다. null값이 나와있을 거라 기대했는데 아니었습니다. 왜 이런 건가요??
해결됨
윤파고의 정보처리기사 DB/프로그래밍 All-In-One
안녕하세요? 모든 강의 다 듣고, 한 강의만 못 듣고 있는데요. 12. DB 기출입니다. 영상을 아무리 이렇게 봐도 저렇게 보고, 해상도를 720으로 최고로 높여 보아도 흐려서 문제를 볼 수도 없습니다. 화질이 너무 심한데, 해상도 해결할 방법이 전혀 없나요? 이미지 추가 합니다.. 이거 문제 보라고 올려 주신건지요...?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
rms 평가 값이 작을수록 더 좋은 모델 인거 일까요~? 아래와 같이 결과가 나왔는데 XGBRegressor가 가장 좋은 모델 일까요??? RandomForestRegressor 1320.1181960644112 lnear regression 2637.903981035919 RandomForestRegressor 1872.108397828074 max_depth=5 XGBRegressor 1269.7677864640748
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
array length 1333 does not match index length 2154 랜덤포레스트 모델 예측 후 데이터 프레임 생성 시 상기 에러 메세지
해결됨
스프링 MVC 1편 - 백엔드 웹 개발 핵심 기술
private void printHeaderUtils(HttpServletRequest request) { System.out.println("--- header 편의 조회 start---"); System.out.println("[Host 편의 조회]"); System.out.println("request.getServerName() = " + request.getServerName()); System.out.println("request.getServerPort() = " + request.getServerPort()); System.out.println("--- header 편의 조회 end---"); System.out.println(); } 실행하면 이 메서드 부분 출력이 --- header ���� ��ȸ start--- [Host ���� ��ȸ] request.getServerName() = localhost request.getServerPort() = 8080 --- header ���� ��ȸ end--- 이렇게 나옵니다 ㅠㅠ 한글 표시가 안 돼요ㅠㅠㅠ 어떻게 해야하나요? 도와주세요!! run/debug edit configurations에 들어가서 -Dfile.encoding=UTF-8도 입력했고, File Encoding에 가서 UTF-8로 전부 변경도 했고, application.properties 에 가서 server.servlet.encoding.force-response=true 도 입력했습니다. 인텔리제이 콘솔 한글깨짐 - 인프런 (inflearn.com) 여기 링크에 나와있는 분 처럼 다해봤는데 안 됩니다... 저 링크에 나와있는 것도 확인해 봤는데 안 되고요... 뭐가 문제인 거죠ㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님 작업형2에서 이 코드를 템플릿처럼 외우고 파라미터튜닝만 조금 해서 제출하려는데 크게 무리없을까요??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요, 섹션13 4회 기출문제 작업형2 관해 질문이 있습니다. 저는 object 컬럼을 LabelEncoder를 해주었는데 예측값이 1,2,3,4 분류가 나오지 않고 소수점이 나옵니다. 이럴때는 어떻게 해야 하는거 인가요?? 제 풀이가 잘못된 부분이 있나요? 이렇게 프린트를 해보면 [2.22 2.566 2.57 ... 1.84516667 2.79 2.95 ] 이렇게 나옵니다.... 뭐가 잘못 되었나용?ㅠㅠ y = train['Segmentation'] train = train.drop(['ID', 'Segmentation'],axis=1) test_id = test.pop('ID') cols = ['Gender', 'Ever_Married', 'Graduated', 'Profession', 'Spending_Score', 'Var_1'] from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) from sklearn.ensemble import RandomForestClassifier rf = RandomForestRegressor(random_state=2022) rf.fit(train, y) pred = rf.predict(test) print(pred)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 2과목 관련해서 문의드리고 싶어 글을 남깁니다. 2과목은 사실상 과대적합이 걱정되어 일단 널값 전처리 해주고 수치형 데이터만 뽑아 인코딩과 파라미터 없이 랜덤포레스트 돌려주고 평가하고 제출하려 하는데 라벨인코딩, 원핫인코딩, 스케일링 해주어야 더 나을까요 ? 혹시나 하게 되어 과적합이 떠서 0점이 나올까 걱정이 되서 어떻게 해야할지 문의드립니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
왼쪽 문제에는 0,1이 나오게 했는데 왜 문제에서는 predict_proba를 통해 확률을 계산한것이에요?혹시 어쩔때 확률이고 어쩔때 0,1인지 구분방법이있나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
df['f3']=df['f3'].fillna(df['f3'].mode()) df['f3'] = df['f3'].fillna(df['f3'].mode()[0]) 위에는 제가 쓴것이고 아래는 선생님께서 쓰신 것인데 mode 를 쓸때 별말이 없다면 항상 [0] 을 써줘야하나요? 그리고 시험에서 코드에 띄어쓰기를 제대로 하지않을경우 문제가 되나요?..