예시문제 작업형2(신버전)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 train과 test 데이터에서 회원ID를 드랍하지 않고 모델에 가져가는 이유가 궁금합니다.
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 train과 test 데이터에서 회원ID를 드랍하지 않고 모델에 가져가는 이유가 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
위의 다중선형회귀에서 유형 칼럼은 범주형 변수인데, C(유형) 으로 안해줘도 되나요?
해결됨
스프링 DB 1편 - 데이터 접근 핵심 원리
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? 예 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? 예 3. 질문 잘하기 메뉴얼을 읽어보셨나요? 예 [질문 내용] 리포지토리인 Dto 클래스에 private final DataSource dataSource시 Could not autowire. No beans of 'DataSource' type found. 라는 오류가 뜨면서 빌드가 안 됩니다! 서비스에서 트랜잭션을 쓰지는 않지만 DataSource를 적용해보고 싶었는데 안 되네요 ㅠㅠ package com.spring.dto; import com.spring.dao.member.Member; import lombok.RequiredArgsConstructor; import org.springframework.stereotype.Repository; import javax.sql.DataSource; import java.sql.*; import java.util.ArrayList; import java.util.List; import java.util.NoSuchElementException; import java.util.Optional; @Repository @RequiredArgsConstructor public class JDBCMemberDto implements MemberDto{ private final DataSource dataSource; // 테이블 열 private static final String TABLE_NAME = "USERS"; private static final String ID_COLUMN = "ID"; private static final String USERID_COLUMN = "USERID"; private static final String PASSWORD_COLUMN = "PASSWORD"; private static final String NAME_COLUMN = "NAME"; @Override public Member save(Member member) { String query = "INSERT INTO " + TABLE_NAME + " (" + ID_COLUMN + ", " + USERID_COLUMN + ", " + PASSWORD_COLUMN + ", " + NAME_COLUMN + ") VALUES (SEQ_USER.NEXTVAL, ?, ?, ?)"; try (Connection conn = getConnection(); PreparedStatement pstmt = conn.prepareStatement(query)){ pstmt.setString(1, member.getUserId()); pstmt.setString(2, member.getPassword()); pstmt.setString(3, member.getName()); pstmt.executeUpdate(); } catch (SQLException e) { e.printStackTrace(); } return findByUserId(member.getUserId()).get(); } @Override public Member findById(Long id) { Member member = new Member(); String query = "SELECT * FROM USERS WHERE id = ?"; try (Connection conn = getConnection(); PreparedStatement pstmt = conn.prepareStatement(query)){ pstmt.setLong(1, id); ResultSet rs = pstmt.executeQuery(); if(rs.next()) { member.setId(rs.getLong(ID_COLUMN)); member.setUserId(rs.getString(USERID_COLUMN)); member.setPassword(rs.getString(PASSWORD_COLUMN)); member.setName(rs.getString(NAME_COLUMN)); } else { throw new NoSuchElementException("유저를 찾을 수 없습니다. memberId=" + id); } } catch (SQLException e) { e.printStackTrace(); } return member; } @Override public Optional<Member> findByUserId(String userid) { return findAll().stream() .filter(member -> member.getUserId().equals(userid)) .findFirst(); } @Override public List<Member> findAll() { List<Member> list = new ArrayList<>(); String query = "SELECT * FROM USERS"; try (Connection conn = getConnection(); PreparedStatement pstmt = conn.prepareStatement(query)){ pstmt.executeUpdate(); ResultSet rs = pstmt.executeQuery(); while(rs.next()) { Member member = new Member(); member.setId(rs.getLong(ID_COLUMN)); member.setUserId(rs.getString(USERID_COLUMN)); member.setPassword(rs.getString(PASSWORD_COLUMN)); member.setName(rs.getString(NAME_COLUMN)); list.add(member); } } catch (SQLException e) { e.printStackTrace(); } return list; } private Connection getConnection() throws SQLException { Connection connection = dataSource.getConnection(); return connection; } }
미해결
스프링 MVC 1편 - 백엔드 웹 개발 핵심 기술
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) [질문 내용] 시작 전 검은화면에서 재생이 멈춰서 재생이 안됩니다, 쿠키, 세션 모두 삭제 해봤는데 재생이 안되네요 ㅜㅜ 보니까 다른 강의들은 모두 재생이 됩니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
sklearn으로 rmse 활용하는 방법을 알려주셨는데 공식이 너무 길고 암기가 어려워서요 코드 전체를 외워야 한다는 말씀이시죠? 그리고, 대안으로 말씀주신 mse는 사용법이 어떻게 될까요? from sklearn.metrics import mean_squared_error 랜덤포레스트 모델생성/학습/예측 ~이후 mse(y_val, pred) 위와 같이 작성해서 점수를 산출하면 되는게 맞는지 궁금합니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
2유형 풀때마다 조금씩 헷갈려서 저만의 베이스라인을 잡고가려는데 아래와 같이 틀을 잡아도 괜찮을까요? # 데이터 불러오기 import pandas as pd X_test = pd.read_csv('X_test') X_train = pd.read_csv('X_train') y_train = pd.read_csv('y_train') # EDA실시, 제출용 아이디 값 분리, 데이터 전처리(예: 라벨인코더) X_train = X_train.drop('ID', axis = 1) X_test_id = X_test.pop('ID') from sklearn.preprocessing import LabelEncoder cols = X_train.select_dtypes(include = 'object').columns for col in cols: le = LabelEncoder() X_train[col] = le.fit_transform(X_train[col]) X_test[col] = le.transform(X_test[col]) # 검증 데이터 분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(X_train, y_train['변수'], test_size = 0.2, random_state = 2022) # 분류일때는 stratify=y 설정추가 # 랜덤 포레스트 from sklearn.ensenble import RandomForestClassifier # 회귀문제시에는 Regressor from sklearn.metrics import 평가지표 # 시험에서 요구하는 평가지표 model = RandomForestClassifier() model.fit(X_tr,y_tr) pred = model.predict_proba(X_val) # model.predict일수도 있음 print(평가지표(y_val, pred[:,1])) # 0,1중 시험에서 요구하는 값 #예측 pred = model.predict_proba(X_test) # model.predict일수도 있음 print(pred) # 데이터 프레임 만들기, 제출 result = pd.DataFrame({'ID': X_test_id, '변수': pred[:,1]}) result.to_csv('수험번호.csv', index = False) 또한 모델학습시에 predict_proba와 predict을 어떻게 구분하여 사용하는지 아직 헷갈리는데 설명해주시면 감사하겠습니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
왜 출력결과 index 2번에 False라고 나올까요?? True 아닌가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 강사님 2유형 최종 예측 시 궁금한게 있어서 질문드립니다. 파라미터 튜닝하면서 RandomForestClassifier() 인자로 'random_state' 를 넘겨주고 있는데, 튜닝이 끝난 후 실제 예측 시에도 'random_state' 값을 그대로 두고 하는게 나은가요? 아니면 튜닝이 끝났으면 해당 인자는 지우고 예측하는게 나을까요? rt = RandomForestClassifier(random_state=2002, max_depth=7, n_estimators=200)
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님! 원핫인코딩 후 lightgbm을 적용했을때 아래와 같은 코드가 나오는데, 일단 제가 구하려는 rmse 값은 나오는데 아래와 같은 코드가 나오는 이유가 궁금합니다! [LightGBM] [Info] Auto-choosing row-wise multi-threading, the overhead of testing was 0.000150 seconds. You can set force_row_wise=true to remove the overhead. And if memory is not enough, you can set force_col_wise=true . [LightGBM] [Info] Total Bins 386 [LightGBM] [Info] Number of data points in the train set: 3007, number of used features: 8 [LightGBM] [Info] Start training from score 12299.193216 [LightGBM] [Warning] No further splits with positive gain, best gain: -inf
미해결
스프링 DB 1편 - 데이터 접근 핵심 원리
DBConnectionUtil 을 통해 커넥션을 획득하는 과정에서의 용어 질문입니다. 커넥션을 획득한다 커넥션을 연결한다 이 둘의 의미가 여기서는 획득한다(얻다) 가 더 알맞는 표현인건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
원핫인코딩을 하면 항상 이런 에러를 만나게 되는데 어디가 잘못된건지 잘 모르겠습니다.(cols 에는 ['Gender', 'Ever_Married', 'Graduated', 'Profession', 'Spending_Score', 'Var_1'] 이렇게 들어가있다고 나옵니다)
미해결
실리콘밸리 엔지니어가 가르치는 파이썬 기초부터 고급까지
a=[1,2,3,4,5] b=a[:] b.append(6) print(id(a[0]),id(b[0])) a[0]=-1 print(id(a[0]),id(b[0])) 위 코드에서 강사님께서 말씀하신대로 b=a[:] 했을때 각 a와 b의 elment들이 같은 id인것을 확인 했습니다. 그런데 a[0]=-1을 했을때 새로운 주소에 할당이 되는것 같은데요 이유가 뭔지 궁금합니다. 그리고 혹시 id로 접근해서 값을 변경하는것도 가능한가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 df[:int(len(df)*0.7)] 저는 위와 같이 적었는데 이렇게 적어줘도 상관없을까요? 강의에서는 iloc를 사용해서요!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님! 노트북에 있는 코드 그대로 실행했는데 위처럼 원-핫 인코딩이 안되는데 ㅠ 에러도 안뜨고...이건 무슨 문제일까요? 강의 15분 35초 정도입니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
import pandas as pd df = pd.read _csv("basic1.csv") # age컬럼 오름차순 정렬 df['age']=df['age'].sort_values(ascending=True) # age컬럼 3사분위수, 1사분위수 구해서 절대값 차 구하기 print(df['age'].loc[24]) print(df['age'].loc[74]) print(int(abs((df['age'].loc[24])-(df['age'].loc[74]))))
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
위의 에러가 발생하여 질문드립니다. 맨 아래는 제가 작성한 전체 코드 이고, df['subscribed'] = pd.to_datetime(df['subscribed']) 위 코드에서 에러가 발생한 것입니다. from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np df = pd.read_csv('/content/drive/MyDrive/bigdata(빅분기 놀이터)/빅분기 놀이터 Dataset/members.csv') # print(df.head()) df['subscribed'] = pd.to_datetime(df['subscribed']) df['month'] = df['subscribed'].df.month df = df.groupby(df['month']).count() print(df.sort_values('subscribed').index[0])
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 혹시 2유형 부분점수도 존재할까요? 그리고 sklearn에는 rmse 함수가 없다고 하셨는데 그러면 무조건 rmse로 평가지표로 문제가 나오면 def(rmse) ~~ 함수 생성해 줘야하는건가요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
q1 = df['CO2'].quantile(.25) q3 = df['CO2'].quantile(.75) IQR = q3 - q1 -> sum(df['CO2'] < q1 - 1.5 IQR) + sum(df['CO2'] > q3 + 1.5 IQR) 이렇게 코드를 써도 나중에 IQR 이상치를 구하는 문제에서 별 문제가 없을까요..?
미해결
스프링 MVC 2편 - 백엔드 웹 개발 활용 기술
학습하는 분들께 도움이 되고, 더 좋은 답변을 드릴 수 있도록 질문전에 다음을 꼭 확인해주세요. 1. 강의 내용과 관련된 질문을 남겨주세요. 2. 인프런의 질문 게시판과 자주 하는 질문(링크)을 먼저 확인해주세요. (자주 하는 질문 링크: https://bit.ly/3fX6ygx) 3. 질문 잘하기 메뉴얼(링크)을 먼저 읽어주세요. (질문 잘하기 메뉴얼 링크: https://bit.ly/2UfeqCG) 질문 시에는 위 내용은 삭제하고 다음 내용을 남겨주세요. ========================================= [질문 템플릿] 1. 강의 내용과 관련된 질문인가요? (예/아니오) 2. 인프런의 질문 게시판과 자주 하는 질문에 없는 내용인가요? (예/아니오) 3. 질문 잘하기 메뉴얼을 읽어보셨나요? (예/아니오) [질문 내용] 오류 내용은 이러한데 2024-06-10T18:33:11.875+09:00 ERROR 12636 --- [nio-8081-exec-7] o.a.c.c.C.[.[.[/].[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed: java.lang.IllegalArgumentException: Name for argument of type [java.lang.String] not specified, and parameter name information not found in class file either.] with root cause java.lang.IllegalArgumentException: Name for argument of type [java.lang.String] not specified, and parameter name information not found in class file either. 느낌은 파라미터 오류 같은데 일단은 강의 내용대로 했는데.. 500오류 라고 뜨네여 뭐가 문제인지... 잘 선배님들 도와 주세여 혹시 모르니 구글 드라이브에도 남겼습니다. https://drive.google.com/file/d/1_u0G8TeUUVAxLRege6WdbTzNBOuvlZvJ/view?usp=sharing
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 a1 = a[['s1','s2','s3','s4','s5']] sum = a1.sum(axis=1)>0.1 print(sum.sum()) 문제에서 요구한 칼럼을 뽑아서 새로운 데이터 프레임을 만들어서 코딩했습니다. 이렇게 하니 102개가 나왔는데, 어떤 부분에서 문제가 발생하는지 잘 모르겠습니다.