172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님, 5회 기출 작업형 2 관련 질문입니다. 공부하고 있는 코드를 복습을 위해 한글로 정리하고 있구요. 아래와 같이 이미지 첨부드리오니, 우측에 있는 메모 함께 확인 부탁드립니다. def rmse 부근 y_true, y_pred 값을 정의하지 않았는데도 (X_tr, X_val 등...) 입력 시 자동으로 결과값이 나오는 이유가 궁금합니다. (2번째 이미지 하단 청색 코드) Test 예측에서 rmse(y, pred) 입력 시 강의에 나온 숫자하고 큰 차이가 있는데, 어디가 잘못된 것인지 알고싶습니다. (4번째 이미지 적색 숫자)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 강사님께서 설명해주신 한가지 방법으로 풀이하기 영상을 보고 train = pd.read_csv("data/customer_train.csv") test = pd.read_csv("data/customer_test.csv") # EDA # print(train.shape, test.shape) #2482 # print(train.head()) # print(test.head()) # print(train.info()) # print(train.isnull().sum()) # print(test.isnull().sum()) train['환불금액'] = train['환불금액'].fillna(0) test['환불금액'] = test['환불금액'].fillna(0) print(train.isnull().sum()) print(test.isnull().sum()) # 데이터 전처리 target = train.pop('성별') print(train.shape, test.shape) train = pd.get_dummies(train) test = pd.get_dummies(test) print(train.shape, test.shape) # 검증데이터 분류 # 머신러닝 # 예측 # 제출 과 같은 방식으로 코드를 작성하고 있습니다. 위 방식으로 할 때 pd.get_dummies 이후의 결과가 (3500, 10) (2482, 10) (3500, 74) (2482, 73) 위와 같이 나옵니다. 74와 73의 값이 동일하지 않은데, 이 상태로 머신러닝 진행해도 되는 건가요? 혹은 잘못된 코드 작성인가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
재방문 패턴 분석: 사용자가 같은 날짜에 여러 페이지를 방문하는 경우를 '재방문'으로 간주합니다. 재방문한 사용자들의 데이터를 분석하여, 재방문한 날짜별 총 방문 페이지 수를 구하고 가장 재방문이 많은 월을 정수로 구하시오 위 문제에서 '여러 페이지' 라는게 Page1, Page2 처럼 서로 다른 페이지를 말하는거 아닌지요? 풀이로 제공해주신 코드는 Page1, Page1 처럼 같은 페이지를 방문한 것도 재방문으로 간주되는 것 같습니다. 확인 부탁드릴께요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
pop함수 사용해서 타겟 뽑아내는거는 웬만하면 인코딩/ 스케일링 하기 전에 하는게 좋을까요???범주형 타겟이라고 해서 학습안하고 그러지는 않겠죠?ㅜㅜ오늘 xgboost했는데 fit될때 타겟 데이터 타입이 문제다 이런 오류가 떠서 헷갈려요ㅠ
미해결
자바 ORM 표준 JPA 프로그래밍 - 기본편
안녕하세요 일정 부분을 공유하는 회원 엔티티를 설계할 때의 상속전략 vs 분리가 궁금합니다. 민원인, 직원 이렇게 2종류가 있고 아이디, 비밀번호, 사번 등이 동일하고 직원은 여기서 몇개만 추가된다고 가정한다면 엔티티를 따로 분리하는게 아닌 공통속성 엔티티를 상속해서 만들어도 괜찮을까요? 몇일을 고민해도 답이 쉽게 나오지 않네요ㅜㅜ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 강의 보다가 zscore함수가 눈에 띄어서 그런데 혹시 sklearn.preprocessing아래 standardscaler와 차이가 있나요?? 실행해보니 zscore는 1이상의 값도 반환을 하던데 무슨 기능을 하는걸까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 전문가 포럼 카페에서 윌콕슨 순위합 검정에 관련해서 의견이 나왔었는데, 선생님 강의에서는 윌콕슨에 관련해서 말씀해주셨는데, 부호순위 인가요 순위합 검정인가요? 그리고 둘이 구현하려면 코드가 다를까요? 순위합 검정과 부호순위는 ttest독립성 검정에서 정규성 불만족시 수행되는건가요?
미해결
자바와 스프링 부트로 생애 최초 서버 만들기, 누구나 쉽게 개발부터 배포까지! [서버 개발 올인원 패키지]
저는 Developer Default가 없는데 그냥 server only로 해도 상관없을까요?
미해결
김영한의 자바 입문 - 코드로 시작하는 자바 첫걸음
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) [질문 내용] 재생속도가 같은 강의여도 재생속도 최대치가 2배속에서 3배속, 3배속에서 2배속으로 자꾸 변경되던데 고정할 수 있는 방법이 있을까요?!
해결됨
실전! 스프링 부트와 JPA 활용1 - 웹 애플리케이션 개발
질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) [질문 내용] 여기에 질문 내용을 남겨주세요. 안녕하세요 강의에서 사용하신 코드를 이거에서 @PostMapping("/order") public String createOrder(@RequestParam("itemId") Long itemId, @RequestParam("memberId") Long memberId, @RequestParam("quantity") int quantity) { orderService.order(memberId, itemId, quantity); return "redirect:/"; } 이렇게 ModelAttribute 를 사용해서 변경하고 싶은데 값을 조회해보니까 testForm 값이 안들어가게 되는데 이러한 방식이 왜 불가능한지 알고 싶습니다. @PostMapping("/order") public String createOrder(@ModelAttribute TestForm testForm) { orderService.order(testForm.getMemberId(), testForm.getItemId(), testForm.getQuantity()); return "redirect:/"; } TestForm 의 필드입니다. public class TestForm { private Long memberId; private Long itemId; private int quantity; } 감사합니다.
미해결
[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)
Jupyter note에서 갑자기 마크다운 입력한 셀이 shift+enter가 안 먹는데 어떻게 해결할 수 있나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하십니까 선생님 저는 빅분기 실기 준비기간이 길지않아 아무래도 2유형을 한가지 방법으로만 공부해야할 것 같습니다. 한가지 방법으로 풀기 강의를 통해 2유형을 풀어보면 너무나도 쉽게 문제들을 풀 수 있어 편하다고 생각하는데 한편으로는 모든 문제들을 오직 이 방법으로만 풀어도 되나하는 생각이 들기도 합니다. 공부하면서 다음과 같이 질문들을 써놨습니다. 답변주시면 감사드리겠습니다. 작업형 2유형 질문 1. 이제는 3개의 데이터는 시험에 나오지 않는 것인가? 2. 어느 문제든 상관없이 원핫인코딩만 써도 되는것인가? 3.. 선생님께서는 기출 한가지 방법으로 풀기 강의를 시작하기 앞서 기출문제에서는 결측치가 있거나 특이사항이 없었기에 쉽게 풀 수 있다고 말씀하셨는데, 혹시 여기서 말씀하신 특이사항의 예시로는 뭐가 있을까?
미해결
김영한의 자바 입문 - 코드로 시작하는 자바 첫걸음
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) [질문 내용] 그냥 클래스 만든것밖에 없는데 저게 안사라지네요 뭘까요ㅜ 저 텍스트를 클릭해서 환경설정을 누르면 아래와 같이 나옵니다ㅜㅜ
미해결
자바와 스프링 부트로 생애 최초 서버 만들기, 누구나 쉽게 개발부터 배포까지! [서버 개발 올인원 패키지]
만약 GPG체크오류가 계속 해서 뜬다면 이것을 시도해보세요 다운로드한 패키지들을 dnf 명령어를 사용하여 설치합니다. 먼저, 패키지들을 다운로드합니다: wget https://repo.mysql.com/yum/mysql-8.0-community/el/9/x86_64/mysql-community-client-8.0.37-1.el9.x86_64.rpm wget https://repo.mysql.com/yum/mysql-8.0-community/el/9/x86_64/mysql-community-client-plugins-8.0.37-1.el9.x86_64.rpm wget https://repo.mysql.com/yum/mysql-8.0-community/el/9/x86_64/mysql-community-common-8.0.37-1.el9.x86_64.rpm wget https://repo.mysql.com/yum/mysql-8.0-community/el/9/x86_64/mysql-community-icu-data-files-8.0.37-1.el9.x86_64.rpm wget https://repo.mysql.com/yum/mysql-8.0-community/el/9/x86_64/mysql-community-libs-8.0.37-1.el9.x86_64.rpm wget https://repo.mysql.com/yum/mysql-8.0-community/el/9/x86_64/mysql-community-server-8.0.37-1.el9.x86_64.rpm dnf 명령어를 사용하여 GPG 체크 없이 패키지를 설치합니다: sudo dnf install ./mysql-community-client-8.0.37-1.el9.x86_64.rpm --nogpgcheck sudo dnf install ./mysql-community-client-plugins-8.0.37-1.el9.x86_64.rpm --nogpgcheck sudo dnf install ./mysql-community-common-8.0.37-1.el9.x86_64.rpm --nogpgcheck sudo dnf install ./mysql-community-icu-data-files-8.0.37-1.el9.x86_64.rpm --nogpgcheck sudo dnf install ./mysql-community-libs-8.0.37-1.el9.x86_64.rpm --nogpgcheck sudo dnf install ./mysql-community-server-8.0.37-1.el9.x86_64.rpm --nogpgcheck MySQL 서비스 시작 및 상태 확인 sudo systemctl start mysqld sudo systemctl status mysqld 이렇게 하면 해결 되는것 같아요 저도 엄청 꼬였는데 이 코드면 해결되네요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
3유형 관련입니다. 로지스틱 회귀 불러올때는import pandas as pd from statsmodels.formula.api import logit result1 = logit("Survived ~ Gender+SibSp+Parch+Fare', data=df).fit().summary(GLM 불러올때는 from statsmodel.formul.apli import logit import numpy as np 이처럼언제는 np 불러오고 언제는 pd 불러오나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 max_depth 값을 먼저 찾아주고 그 다음 n_estimators와 learning_rate 값을 동시에 찾아야 하나요? 아니면 n_estimators 값을 max_depth 처럼 먼저 찾고 learning_rate 값을 0.1에서 조금씩 낮춰가면서 찾아도 되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
1,2,3 유형 print() 문 질문입니다. 강의에서 1과목의 경우 마지막에 결과를 출력하는 print(result) 하나만 남기라고 하셨는데, 지금 1, 3 유형의 경우는 답을 직접 제출하는 페이지가 있으므로, 문제 풀이 창 (코드 작성하는 창) 에서는 print() 문이 여러개 있어도 문제없나요? 그리고 2유형의 경우도 print() 문이 여러개 있어도 되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요! 캐글에 올려주신 자료로 공부 중 에러가 떴는데 어떻게 해결해야할지 몰라 질문 남깁니다! 너무 길어서 보기 어려운 점 미리 사과드립니다..ㅠㅠ import pandas as pd train = pd.read_csv("/kaggle/input/big-data-analytics-certification-kr-2024-3/train.csv") test = pd.read_csv("/kaggle/input/big-data-analytics-certification-kr-2024-3/test.csv") # EDA # print(train.shape, test.shape) #(1168, 81) (292, 80) # print(train.info()) #float64(3), int64(35), object(43) # print(test.info()) #float64(3), int64(34), object(43) # print(train.isnull().sum().sort_values(ascending=False)[:10]) #범주형 데이터가 너무 많아서 수치형만 선택 train=train.select_dtypes(exclude=['object']) test=train.select_dtypes(exclude=['object']) # print(train.head(2)) # print(train.isnull().sum()) #LotFrontage 218, GarageYrBlt 69 # print(test.isnull().sum()) # print(train['LotFrontage'].describe()) # print(train['GarageYrBlt'].describe()) #전처리(결측치, 타겟값 분리) target=train.pop('SalePrice') train=train.drop('Id',axis=1) test_id=test.pop('Id') train['LotFrontage']=train['LotFrontage'].fillna(train['LotFrontage'].mean()) train['GarageYrBlt']=train['GarageYrBlt'].fillna(train['GarageYrBlt'].mean()) train['MasVnrArea']=train['MasVnrArea'].fillna(train['MasVnrArea'].mean()) test['LotFrontage']=test['LotFrontage'].fillna(test['LotFrontage'].mean()) test['GarageYrBlt']=test['GarageYrBlt'].fillna(test['GarageYrBlt'].mean()) test['MasVnrArea']=test['MasVnrArea'].fillna(test['MasVnrArea'].mean()) # print(train.isnull().sum().sum()) # print(test.isnull().sum().sum()) #데이터 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=0) # print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #랜포 from sklearn.ensemble import RandomForestRegressor rf=RandomForestRegressor(random_state=0) rf.fit(X_tr, y_tr) pred=rf.predict(X_val) #평가 from sklearn.metrics import mean_squared_error def rmse(y, y_pred): return mean_squared_error(y, y_pred)**0.5 # print(rmse(y_val, pred)) #중앙값 : 34668.70085343153 #평균 : 33430.8118326734 # 최댓값 : 34100.46200633792 #최솟값 : 34023.36640178194 #예측 pred=rf.predict(test) submit=pd.DataFrame({'Id':test_id, 'SalePrice':pred}) submit.to_csv('0000.csv', index=False) pd.read_csv('0000.csv') --------------------------------------------------------------------------- ValueError Traceback (most recent call last) Cell In[55], line 68 60 return mean_squared_error(y, y_pred)**0.5 61 # print(rmse(y_val, pred)) 62 #중앙값 : 34668.70085343153 63 #평균 : 33430.8118326734 (...) 66 67 #예측 ---> 68 pred=rf.predict(test) 69 submit=pd.DataFrame({'Id':test_id, 'SalePrice':pred}) 70 submit.to_csv('0000.csv', index=False) File /opt/conda/lib/python3.10/site-packages/sklearn/ensemble/_forest.py:981, in ForestRegressor.predict(self, X) 979 check_is_fitted(self) 980 # Check data --> 981 X = self._validate_X_predict(X) 983 # Assign chunk of trees to jobs 984 n_jobs, _, _ = _partition_estimators(self.n_estimators, self.n_jobs) File /opt/conda/lib/python3.10/site-packages/sklearn/ensemble/_forest.py:602, in BaseForest._validate_X_predict(self, X) 599 """ 600 Validate X whenever one tries to predict, apply, predict_proba.""" 601 check_is_fitted(self) --> 602 X = self._validate_data(X, dtype=DTYPE, accept_sparse="csr", reset=False) 603 if issparse(X) and (X.indices.dtype != np.intc or X.indptr.dtype != np.intc): 604 raise ValueError("No support for np.int64 index based sparse matrices") File /opt/conda/lib/python3.10/site-packages/sklearn/base.py:548, in BaseEstimator._validate_data(self, X, y, reset, validate_separately, **check_params) 483 def _validate_data( 484 self, 485 X="no_validation", (...) 489 **check_params, 490 ): 491 """Validate input data and set or check the `n_features_in_` attribute. 492 493 Parameters (...) 546 validated. 547 """ --> 548 self._check_feature_names(X, reset=reset) 550 if y is None and self._get_tags()["requires_y"]: 551 raise ValueError( 552 f"This {self.__class__.__name__} estimator " 553 "requires y to be passed, but the target y is None." 554 ) File /opt/conda/lib/python3.10/site-packages/sklearn/base.py:481, in BaseEstimator._check_feature_names(self, X, reset) 476 if not missing_names and not unexpected_names: 477 message += ( 478 "Feature names must be in the same order as they were in fit.\n" 479 ) --> 481 raise ValueError(message) ValueError: The feature names should match those that were passed during fit. Feature names unseen at fit time: - SalePric
해결됨
실전 jOOQ! Type Safe SQL with Java
jOOQ generate을 통해서 생성된 Dao를 기반으로 R2DBC 환경에서 테스트를 진행할 때 findAll(), findById() 등 뒤에 fetch()가 붙어서 Blocking 방식으로 DB에 접근하게 되어 있었습니다. fetch() 코드를 들어가서 확인하였을 때 아래와 같았습니다. @Blocking <E> @NotNull List<E> fetch(RecordMapper<? super R, E> var1) throws DataAccessException; 그래서, jOOQ 공식 사이트에서 찾아보았을 때 아래와 같이 reactor fecth()가 가능하다는 것은 확인하였습니다. https://www.jooq.org/doc/latest/manual/sql-execution/fetching/reactive-fetching/ Dao을 적용해서 Reactor 방식으로 진행할 수 있는 방법은 없을까요?? 또한, Reactor Fetch 방식으로 실행하였을 때 디버깅 로그가 찍히지 않는 문제가 발생하고 있는데 이것에 대해서도 해결 방법이 있을까요??? Configuration이 적용되지 않는 것 같아서 아래와 같이 설정도 해보았지만 적용되지는 않았습니다. import io.r2dbc.spi.ConnectionFactory; ... @Configuration public class JooqConfig { public final ConnectionFactory connectionFactory; public JooqConfig(ConnectionFactory connectionFactory) { this.connectionFactory = connectionFactory; } ... @Bean public DSLContext jooQDSLContext() { DSLContext dsl = DSL.using(connectionFactory).dsl(); dsl.configuration().set(PerformanceListener::new); dsl.settings().withRenderSchema(false); return dsl; }
미해결
스프링 시큐리티 OAuth2
"/home" 으로 리다이렉트 할 떄 Authentication 이 null로 가져와지는 문제가 있습니다. 왜 그럴까? OAuth2AuthenticationToken 은 Principal의 하위 클래스입니다. 이는 ServletRequestMethodArgumentResolver 에서 잡아서 resolve 해줍니다. 그런데 여기서 resolve 하는 과정에서 SecurityContext로부터 Authentication 을 꺼내는데 익명사용자일 경우 null 로 반환하게 됩니다. 인증되지 않았다는 것이죠. 아까 우리는 인증을 했지만 이 결과가 장기적인 저장을 담당하는 SecurityContextRepository에 저장이 제대로 되지 않았기 때문입니다. CustomOAuth2LoginAuthenticationFilter 의 부모인 AbstractAuthenticationProcessingFilter 가 사용하는 securityContextRepository가 RequestAttributeSecurityContextRepository 또는 NullSecurityContextRepository(예전버전 기준) 로 되어 있습니다. 이렇게 되어 있으면 다시 "/home" 으로 리다이렉트되어 요청될 때 SecurityContextHolderFilter에서 인증 결과를 못 불러오는 문제가 생깁니다. 실습의 편의상 세션에 저장하는게 좋은데, filter.setSecurityContextRepository(HttpSessionSecurityContextRepository()) 코드를 추가하셔서 설정하시면 될 것 같습니다. 다시 요청이 들어왔을 때 SecurityContextHolderFilter를 거치면서 세션의 Authentication 을 꺼내서 SecurityContext에 담아주기 때문에 성공적으로 인증된 OAuth2AuthenticationToken 을 바인딩 받으실 수 있을겁니다.
