172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
랜덤포레스트에서 하이퍼 파라미터 할때, learning_rate 하면 오류나던데, 랜덤포레스트에서는 적용이 안되나요? max_depth랑 n_estimators로만 파라미터 수정하면되나요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
# f1 스코어 from sklearn.metrics import f1_score print(f1_score(y_val, pred)) ValueError : Target is multiclass but average='binary'. Please choose another average setting, one of [None, 'micro', 'macro', 'weighted']. 영상에서는 바로 출력되던데, 이것은 무슨 오류인가요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형 2에서 데이터 스케일링(min_max, standard scaler)는 안하시는 것 같은데 혹시 이유가 있을까요? 보통 분석 흐름에는 데이터 표준화를 하는 경우가 많은 것 같아서 여쭤봅니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
독립표본 ttest_ind 검정에서 ttest_ind(A, B)를 쓸때 A에 오는 것을 어떤것으로 해야 하나요? 예) 오렌지주스를 투여받은 기니피그 치아길이 평균이 아스코르브산을 투여받은 기니피그 치아길이 평균과 일치하는 지 구해라
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
object형 처리 시 어떤 때에 원핫인코딩하는게 좋고 라벨인코딩하는게 좋고 하는 기준이 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
소수점 몇 번째 자리든 다 작성하면 되나요? 그 이전에 문제에서 반올림 명시를 하겠죠?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
X_test, X_train, y_train 데이터일때 결측치 채울때는 X_test, X_train 모두 채우고 결측치나 이상치 삭제시에는 X_train, y_train만 삭제하고 X_test는 삭제하면 안되는거죠?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 회귀분석 모델의 MSE 구하는 방법에 대해 문의드립니다. ols 모델 학습하고 난 후, model.mse_resid 메서드로 MSE 구하는 방식이 있더라구요. 근데 선생님이 정석적으로 풀이해주신 방법의 답과 차이가 있어서 문의드립니다. 자유도 처리나 계산 방법에 따라 차이가 있는 것으로 추정되는데, 이럴 경우 어떤 방식을 활용하는 것이 더 나을지 궁급합니다. 혹은 똑같은 방법으로 답을 구할 수 있는 메서드가 있는지도 궁금합니다.
미해결
자바 ORM 표준 JPA 프로그래밍 - 기본편
@Entity @Builder @NoArgsConstructor @AllArgsConstructor @Getter @Setter public class Member { @Id @GeneratedValue private Long id; @Column private String username; @ManyToOne @JoinColumn(name = "team_id") private Team team; } @Entity @Builder @NoArgsConstructor @AllArgsConstructor @Getter @Setter public class Team { @Id @GeneratedValue private Long id; private String name; } try { tx.begin(); Team team = new Team().builder() .name("teamA") .build(); em.persist(team); Member member = new Member().builder() .username("member1") .team(team) .build(); em.persist(member); em.flush(); em.clear(); Member findMember = em.find(Member.class, member.getId()); Team findTeam = findMember.getTeam(); em.remove(findTeam); tx.commit(); } catch (Exception e) { tx.rollback(); } finally { em.close(); } findTeam을 remove하기 전에 findMember.setTeam(null) 이런 식으로 팀과의 연관 관계를 null로 만들고 삭제하지 않았는데 에러가 발생하지 않고, 데이터베이스에서 member 정보와 team 정보 모두 삭제됩니다. CASCADE 설정이 되어 있는 건 아닌데 왜 이렇게 동작하는 걸까요??
미해결
김영한의 자바 입문 - 코드로 시작하는 자바 첫걸음
if문 관련 질문입니다. 조건에 따라 dollar <0 일 경우 "잘못된 코드입니다 dollar == 0 일 경우 "환전할 금액이 없습니다 dollar >0 일 경우 dollar = dollar*1300을 출력하고 싶습니다 그런데 위와 같이 코드를 작성하였을 때 dollar가 0 이하가 될 경우 if (dollar<0)문과 else문이 함께 실행됩니다. 왜 이러는 걸까요? 저는 if 문이 실행되면 else문은 실행이 되지 않는다고 이해했는데 혹시 다른 이유가 있는 걸까요? 답을 알고 계시는 분은 상세하게 설명 부탁드립니다ㅠㅠ
해결됨
실전! 스프링 부트와 JPA 활용1 - 웹 애플리케이션 개발
dependencies에 spring web strater 검색해도 안뜨는데 어떡해야하나요??
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이과정,, from statsmodels.formula.api import logit 으로 진행하면 안되나요??
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 드디어 내일이 시험이네요, 그동안 너무 감사했습니다! 다름이 아니라 작업형 2유형에서 모델을 XGBoost를 이용하려고 하는데요! 체험환경에서 미리 사용을 해봤을때 경고가 자꾸 표시됩니다. 경고 여부와 관계없이 XGBoost를 사용해서 제출해도 이슈가 없을것 같다고 생각되긴 합니다만, 혹시 몰라 선생님께 확인차 여쭤보고 싶습니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
pd.DataFrame 독스를 보니 너무 여러 방법이 있어서 헷갈려서 질문드립니다... 따로 추천하시는 방법이 있나요? 수업에서 본 대로 인덱스명이 key고, 리스트가 value인 딕셔너리를 넣는 법을 가장 추천하시나요? 중괄호를 쓰다가 유독 오타가 자주 나네요 @_@ 특히 간단한 적합성 검정같은 거에서 줄글로 정보만 띡 내놓는 상황이 가장 두렵습니다. observed data는 컬럼 하나짜리인 Case별 프레임이고 expected frequency는 왜 달랑 딕셔너리 하나랍니까 이거 최종적으로 stats.quisquare에 어떤 방식으로 들어가는건지는 둘다 관찰값과 기대분포에다가 실험크기를 곱한 리스트같지만 이건 데이터 전처리를 어떻게 해야 할지...
미해결
김영한의 실전 자바 - 고급 2편, I/O, 네트워크, 리플렉션
Java는 해당 강의만 구매 해서 앞의 강의 내용에 있을지 모르겠습니다만 헷갈리는 부분이 있습니다. 숫자와 문자의 2진수 표현은 같고 데이터타입이 숫자 타입인지 문자 타입인지 나타내는 byte 도 있을 것 같은데 이걸 어떻게 구분하는지 구글링에서 검색할 수 있는 키워드나 답을 알려주실 수 있으실까요 숫자 65의 2진수 표현: 1000001 문자 'A'의 2진수 표현: 1000001 강의 내용에 java의 경우 1byte의 prefix를 통해 음수를 표현할 수 있다고 하셨는데 데이터 타입은 어디에서 관리되는지 궁금하네요. 저장되는 메모리 구역이 다른지..그렇다 해도 할당된 데이터 구조 내에 있어야 할 것 같은데 진짜 궁금하네요 클로드에선 아래와 같이 답을 줬는데요 각 데이터 타입은 1바이트부터 8바이트까지 고유한 메모리 할당 방식을 가지고 있어, 메모리 내 위치와 크기로 타입을 구분할 수 있습니다. 그럼 각 데이터에 대한 메모리 위치는 stack 에서 가지고 있지 않나 싶은데 stack 에서도 해당 데이터 타입이 byte 인지 아니면 텍스트인지 어떻게 알고 있는지 다시 궁금하네요. -ㅂ- stack을 공부하면 되겠네요... 문자인코딩 섹션이 단순한 내용 같아도 진짜 생각 많이 하게 되는 강의네요.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험환경 예시문제를 보면 '독립성 검정을 실시했을 때 카이제곱 통계량은 ?'과 같이, 7회, 8회 문제에도 카이제곱인지, 로지스틱 회귀모형 등, 어떤 방법을 사용하라고 나왔었나요 ?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
"train = pd.get_dummies(train) 로 사용해 주세요 train = pd.get_dummies(train[cols]) 를 사용하면 train에 기존에 있던 수치형은 삭제되고 없습니다."라는 무서운 답변을 방금 발견해서 아 맞다 세상에 하고 질문드리는데요 X_traintest_concat = pd.get_dummies(X_traintest_concat, columns=['fuelType']) 같이 하면 fuelType 컬럼만 원핫되고 다른 애들은 남아있는 거 맞죠? ㅠㅠㅠㅠ
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
기출 2회 작업형2 문제가 로지스틱 회귀로 분류문제라 랜포를 이용해서 풀이를 하려고 하는데요. 주어진 데이터가 3개라서 concat을 이용해서 X_train과 y_train을 train으로 합쳐서 하려고 하는데 잘 안됩니다ㅜ train = pd.concat([X_train, y_train['Reached.on.Time_Y.N']], axis=1) train.head(1) 이 코드에서 'Reached.on.Time_Y.N' 이 컬럼만 없고 나머지는 있어서 얘만 합쳐주는 건가요? # 데이터 불러오기 import pandas as pd test = pd.read_csv("X_test.csv") X_train = pd.read_csv("X_train.csv") y_train = pd.read_csv("y_train.csv") #주어진 데이터 3개라서 2개로 만들기(train합치기) train = pd.concat([X_train, y_train['Reached.on.Time_Y.N']], axis=1) train.head(1) # 3. 탐색적 데이터 분석(EDA) print(train.shape) #1490 print(test.shape) #497 print(train.info()) print(test.info()) print(train.head(3)) print(test.head(3)) print(train.isnull().sum()) print(test.isnull().sum()) print(train['Reached.on.Time_Y.N'].value_counts()) # 4. 데이터 전처리 print(train.info()) # 오브젝트형 있네?->인코딩하자 # print(train.shape, test.shape) train=pd.get_dummies(train) test=pd.get_dummies(test) # print(train.shape, test.shape) # print(train.info()) train = train.drop('ID', axis=1) test_id = test.pop('ID') test.head() # 5. 검증용 데이터 분할 *XXYY로* from sklearn.model_selection import train_test_split target = train.pop('Reached.on.Time_Y.N') X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=7) print(X_tr.shape, y_tr.shape, X_val.shape, y_val.shape) # 6. 검증 데이터 머신러닝 학습 및 평가 - 호출, 학습, 예측 from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(random_state=7) rf.fit(X_tr,y_tr) pred = rf.predict_proba(X_val) from sklearn.metrics import roc_auc_score roc_auc = roc_auc_score(y_val, pred[:,1]) print('roc_auc:',roc_auc) # 7. 예측 및 결과 파일 생성 pred=rf.predict_proba(test) print(pred[:10]) submit = pd.DataFrame({ 'ID': test_id, 'Reached.on.Time_Y.N': pred[:,1] }) submit.to_csv('result.csv',index=False) # 제출파일 확인 pd.read_csv('result.csv') pd.read_csv('result.csv').shape 꿀팁 영상 보고 주어진 데이터가 3개일 경우를 정리해본건데 코드가 많이 길지만 결과 나올 수 있게 코드 손 봐주시면 감사하겠습니다TT
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
np.exp(coef* 5) 라고 작성하셨는데, 5만큼 증가는 +5 아닌가요?? *5 는 곱하기 5 아닌가용?,,, *= + 라는 뜻인가요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
19개 종류를 다 비교 하기 쉽지 않습니다. 그리고 만약 train에 없는 고유값이 test에서 있으면 데이터를 합친다고 했는데, 범주형을 합쳐서 인코딩 한 다음에 다시 분리 할때는 loc, iloc 사용하나요? 그래서 처음 shape의 데이터 크기로 똑같이 맞춰야 하는거죠? 예를 들면 train.shape (6118,10) test.shape (1724,9) 라면 처음에 concat를 통해 6118+1724 로 해서 범주형 인코딩 하고 다시 원래 대로 크기를 쪼개야 하는거죠?
