pvalue값
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
문제에서 만약 pvalue나 회귀계수에서 가장 작은 변수를 구하라고 하면 절댓값 기준으로 구하는게 맞을까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
pseoin0907
댓글 2
좋아요 0
조회수 47
묻고 답해요
172만명의 커뮤니티!! 함께 토론해봐요.
평가지표 사용
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 안녕하세요. 여러 모델을 외우기 힘들면 랜덤포레스트 하나로 가도 된다고 말씀해주셨는데, 그렇게하면 평가(RMSE, ...)를 하는게 의미가 없다고 생각하는데요. 평가자체를 하지 않고 랜덤포레스트 모델로 학습시켜 바로 예측하여 제출해도 문제가 없는걸까요? 그리고, 연습문제 저 혼자 풀어보고 선생님 파일이랑 대략 비교해보고싶은데, 어떻게 비교 또는 확인해볼 수 있을까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
단비
댓글 2
좋아요 0
조회수 62
안녕하세요 FetchGroups에서 Multiset방식 사용하면 어떤가 해서 물어봅니다
미해결
실전 jOOQ! Type Safe SQL with Java
안녕하세요 공부하다가 보니 FetchGroups방식으로 했을때 Map으로 반환되고 DTO로 변환해야하는 오버헤드가 발생하는데요 Multiset방식으로 하면 1:N 관계에서 바로 DTO로 반환 할 수 있는데요 코드 보기가 조금은 더 복잡해 보이지만 WHERE절이 있을때 현재 테이블 데이터와 인덱스 상으로는 성능적으로 더 괜찮은거 같아서 multiset방식은 강의에 없어서 어떤지 궁금해서 여쭤봅니다 public List<ActorFilmography> findActorFilmographyWithMultiset(ActorFilmographySearchOption searchOption) { final JFilmActor FILM_ACTOR = JFilmActor.FILM_ACTOR; final JFilm FILM = JFilm.FILM; return dslContext.select( ACTOR, DSL.multiset( DSL.select(FILM.fields()) .from(FILM) .join(FILM_ACTOR) .on(FILM.FILM_ID.eq(FILM_ACTOR.FILM_ID)) .where( FILM_ACTOR.ACTOR_ID.eq(ACTOR.ACTOR_ID), containsIfNotBlank(FILM.TITLE, searchOption.getFilmTitle()) ) ).convertFrom(r -> r.into(Film.class)) ) .from(ACTOR) .where( containsIfNotBlank(ACTOR.FIRST_NAME.concat(" ").concat(ACTOR.LAST_NAME), searchOption.getActorName()) ) .fetch(record -> new ActorFilmography( record.value1().into(Actor.class), record.value2() )); } WHERE 조건 포함 시 성능 비교 fetchGroups 방식 (cost=405, rows=609) Film 필터링 먼저 → FilmActor 조인 → Actor 필터링 1. film 테이블 스캔 (1000 rows) └─ LIKE '%COMMANDMENTS EXPRESS%' → 111 rows 2. film_actor 인덱스 조회 (idx_fk_film_id) → 609 rows 3. actor PRIMARY KEY 조회 → 609 rows └─ LIKE '%LOLLOBRIGIDA%' → 1 row (최종) 특징: - Film 조건이 선택적이면 먼저 필터링하여 조인 범위 축소 - 하지만 Actor 필터링은 마지막에 수행 (비효율) - 609개 row가 네트워크 전송 → 애플리케이션에서 1개로 그룹핑 --- multiset 방식 (cost=20.2 + 13.3 × filtered_actors) Actor 필터링 먼저 → 각 Actor의 Film 서브쿼리 1. actor 테이블 스캔 (200 rows) └─ LIKE '%LOLLOBRIGIDA%' → 1 row (필터링 후) 2. 필터링된 1개 actor에 대해 서브쿼리 실행: - film_actor PRIMARY KEY 조회 (27.3 rows 추정) - film PRIMARY KEY 조회 (27.3번) - LIKE '%COMMANDMENTS EXPRESS%' → 1개 매칭 특징: - Actor 조건을 먼저 적용하여 서브쿼리 실행 횟수 최소화 - 필터링된 1개 Actor만 네트워크 전송 (JSON 포함) - Film 필터링은 각 actor 서브쿼리 내부에서 수행 --- 실제 Total Cost 계산 fetchGroups Total: 405 네트워크 전송: 609 rows (Actor + Film 중복 포함) 애플리케이션 처리: Map 생성 + Stream 변환 multiset Total: 20.2 + (13.3 × 1) = 33.5 네트워크 전송: 1 row (Actor + JSON array) 애플리케이션 처리: JSON 역직렬화 결론: WHERE 조건이 있으면 multiset이 압도적으로 유리 (405 vs 33.5) FetchGroups는 Actor를 나중에 필터링하고 multiset은 actor를 먼저 필터링해서 1개에 대한 film을 여러개 가져와서 현재 데이터에서는 더 유리한데 일반적인 사용법이 궁금합니다
- java
- sql
- spring-boot
- jooq
- dsl
JaeWon Kim
댓글 1
좋아요 0
조회수 81
이력서 관련 궁금한 사항이 있습니다.
해결됨
백엔드 6주 실전 미션과 1:1 피드백으로 완성하는 합격 포트폴리오 - 2기
안녕하세요 딩코딩코 선생님. 다름이 아니라 궁금한 점이 있어 Q&A에다가 글을 올립니다. 6주차 까지 진행을 하며 현재 실제 업무를 하며 해결한 내역들에 대해 다시 한번 정리 해 보는 시간을 가지려고 합니다. 이러한 과정을 수행했을 때 혹시 피드백을 해 주실 수 있는지 궁금합니다.
- java
- spring
- mysql
- redis
- 이력서
Tommy
댓글 2
좋아요 0
조회수 66
오버피팅? 클라이언트넘버를 지우는이유
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 해당 영상 11분30초에 클라이언트 넘버를 지우는게 이해가 잘안가는데요. 나중에 타겟인 Attrition_Flag는 지우고 비교하는 이유를 알겠지만 CLIENTNUM 얘는 왜 드랍하나요? 그냥 암기로 CLIENTNUM,Attrition_Flag 788544108,0.633 719356008,0.123 712142733,0.355 이런 제출형식에서 타켓이 아닌 그 외에 것은 학습에 도움이 안되니 드랍한다. 라고 외워도 될까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
gamb21
댓글 2
좋아요 0
조회수 61
스캔대상 질문드립니다.
미해결
실전! 스프링 데이터 JPA
안녕하세요. 다른질문에도 동일하게 있는데 답변이 조금 모호한거같아서 다시 질문 드립니다. 강의 자료의 해당 강의 부분을 보면 org.springframework.data .repository.Repository 를 구현한 클래스는 스캔 대상 라고 되어있는데, 제가 이해한 바로는 이 부분이 org.springframework.data .jpa.repository.JpaRepository 를 상속받은 인터페이스 는 스캔 대상 이렇게 수정되어야 할 것 같은데 맞을까요..??
- java
- spring
- spring-boot
- jpa
오리쉐리
댓글 1
좋아요 0
조회수 67
이 컬럼은 왜 삭제하는건가요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 1회문제에서는 오브젝트인 컬럼들만 모아서 드랍하는건 이해가 됐는데 강의에서 그냥 데이터가 많다고 해당 열을 삭제하는건가요? 삭제하는이유가 명확하게 제가 이해를 못해서 알려주시면 감사하겠습니다 cols = ['name', 'host_name', 'last_review', 'host_id'] print(train.shape) train = train.drop(cols, axis=1) test = test.drop(cols, axis=1) print(train.shape)
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
gamb21
댓글 3
좋아요 0
조회수 101
예측및제출할때 질문
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 해당문제에서 ROC-AUC, 정확도(Accuracy), F1, 정밀도(Precision), 재현율(Recall)을 구하시오 라고 나와있는데 선생님 노트북을 보면 결국마지막엔 predict_proba로 roc_auc에 대한 평과결과만 실제 테스트 예측한거 아닌가요? 아직 실기가 어려운 왕초보입니다 ㅠㅠ
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
gamb21
댓글 2
좋아요 0
조회수 52
평가지표 결과값이 불안정해요
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
데이터 분리 단계의 random_state 값을 10, 50, 100, 200, 2022 등등 여러바꾸어보았는데 r2값의 편차가 큽니다. 심하면 음수값도 나오고, 높아봐야 0.3정도 수준까지 나와요. (제공해주신 코드 그대로 쓰면 0.3에 근접하게 나오나, random_state값만 바꿔도 전반적으로 떨어집니다) 내가 뭘 잘못했나 하면서.. 혼자서 몇 시간 동안 전처리 단계에서 nunique 수가 많은 object 컬럼을 추가적으로 제거해도 마찬가지고 인코딩 단계에서 one-hot과 label을 바꾸어가며 써봐도 마찬가지고 모델학습 단계에서 하이퍼파라미터값을 조정해봐도 마찬가지입니다... gpt로도 요리조리 돌려봤는데 애초에 데이터의 질 자체가 나쁘면(편차가 큰 경우 등) 코드를 아무리 수정해봐야 평가값 결과가 불안정하게 나온다고 하는데 제가 뭘 잘못하고 있는건지, 해당 문제의 데이터에 문제가 있는건지 궁금해요. 그리고 이런 경우 실전에서도 이대로 풀이를 하고 제출해도 문제가 없을까요? randomstate 값만 바꿔가다가 train 데이터에서 결과 좋은 걸 찾아 끼워 맞춰봤자, test 데이터에서는 또 전혀 다른 결과가 나올 것 같아서요 (코드를 제가 잘못짰나 싶어서 공유된 코드 그대로 써도 마찬가지입니다.. random_state값 조금만 바꿔도 평가결과값이 크게 떨어짐)
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
key.nam
댓글 3
좋아요 0
조회수 52
모의고사(작업형1) 시험환경 체험링크가 안 들어가집니다
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회원가입 하고 링크 눌렀는데 " 페이지를 찾을 수 없습니다." 이렇게 나옵니다 어떻게 해야하나요??
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
퐁포리
댓글 4
좋아요 0
조회수 66
작업형 2 질문
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 작업형 2 모의문제1 강의에서 CLENTNUMBER를 삭제하는게 좋다고 하셨는데, 그럼 이와 유사하게 ID도 항상 삭제하면 될까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
dori
댓글 2
좋아요 0
조회수 52
2회 기출유형(작업형2) 원핫인코딩 기준 코드 알려주실수있을까요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 레이블인코딩말고 원핫인코딩으로만 통일해서 하려고 하는데 코드좀 알 수 있을까요 df = pd.concat([X_train, X_test]) df = pd.get_dummies(df) X_train = df.iloc[:len(X_train)] X_test = df.iloc[len(X_train):] print((X_train.shape, X_test.shape)) 이렇게 하면 될까요
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
봉동개미
댓글 2
좋아요 0
조회수 67
7회 1유형 1번 질문입니다
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 가장 많이 수강한 과목을 id = df['id_assessment'].value_counts() 까지만 해서 찾아서 (id=12)답을 적어도 된다하여 거기까지만 작성하고 문제를 풀면 최종답은 (1.732)나옵니다. 필터링한 코드가 다 들어가야 2.183이 나오구요~다 작성해야하는건가요 ~ (1.732 나온 코드입니다) import pandas as pd df = pd.read _csv("student_assessment.csv") print(df.head()) #print(df.shape) df= df.dropna() #print(df.shape) id = df["id_assessment"].value_counts() #print(id) from sklearn.preprocessing import StandardScaler scaler = StandardScaler() df["score"]= scaler.fit _transform(df[["score"]]) print(round(df["score"].max(),3))
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
yeoun123
댓글 2
좋아요 0
조회수 43
[작업형1] 연습문제 12번 문제
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. [작업형1] 섹션12번 문제에서 두번째 지시문에 결측치가 있는 데이터(행)을 삭제하라고 되어있는데 답안 내의 주석에는 컬럼 자체를 삭제하도록 해설이 되어있습니다. 답에는 차이가 없으나 저의 문제 이해력이 부족한건지 궁금하여 문의드립니다. 문제) 해설)
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
민지
댓글 2
좋아요 0
조회수 49
6회 기출유형 작업형1 마지막문제
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 마지막 범죄 건수 계산문제 질문드립니다. 수업 자료에 있는 코드와 아래 작성된 코드에서 어떤 차이가 있어서 결과가 다르게 나오는 것인지 문의드립니다. df['연도'] = df['날짜'].str[:4] df['월'] = df['날짜'].str[6:8] df['총합'] = df['강력범죄'] + df['절도범죄'] +df['폭력범죄'] +df['지능범죄'] +df['풍속범죄'] +df['교통범죄'] #월평균값이 가장 큰 연도 찾기 result = df.groupby(['연도','월'])['총합'].sum() result.head() #연도별로 총 범죄 건수(범죄유형의 총합)의 월평균 값을 구한 후 그 값이 가장 큰 연도를 찾아, 해당 연도의 총 범죄 건수의 월평균 값을 출력하시오. result2 = result.groupby('연도').mean() result2 = result2.sort_values(ascending = False) result2 #23년도 print(df.groupby('연도')['총합'].mean())
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
박선미
댓글 2
좋아요 0
조회수 68
데이터 전처리 질문
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 train = train.drop('id', axis=1) test_id = test.pop('id') 왜 트레인은 axis를 넣는데 테스트아이디는 저걸 넣지 않을껄까요
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
gamb21
댓글 2
좋아요 0
조회수 66
평가모델을 하나로 통일하면안될까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 안녕하세요 작업형2에서 평가점수를 높이기 위해 선형회기 랜덤포레스트 xgb등을 써보면서 높은 점수를 선택하셨던데, 제가 완전 초보여서 시험장에서 그럴여유가 있을지 모르겠습니ㅏㄷ... 그래서 그냥 랜덤포레스트 하나만 달달 외워서 만능으로 쓰면 안될까요?
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
gamb21
댓글 2
좋아요 0
조회수 54
4. 일원 분산 분석 에서 귀무가설을 채택하는 이유가 무엇일까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 p_value가 0.05보다 적으니 귀무가설을 기각하고 대립가설을 채택한다고 생각했는데 귀무가설을 채택한다고 해서 제가 잘못 이해한건지 궁금합니다 stats.f_oneway(df[cond1]['scores'], df[cond2]['scores'], df[cond3]['scores'], df[cond4]['scores']) from statsmodels.formula.api import ols from statsmodels.stats.anova import anova_lm model = ols('scores ~ groups', data = df).fit() print(anova_lm(model))
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
mongee
댓글 2
좋아요 0
조회수 72
작업형1 연습문제 22번 질문
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 Section 22. 시간 간의 차이 계산(분), 그룹핑 앱 종류별로 평균 도착 시간(분)을 계산하시오. -> 아래는 코랩에 올라온 코드인데요 # 실제 도착시간과 주문시간 차이 계산(분) df['diff'] = (df['실제도착시간'] - df['주문시간']).dt.total_seconds()/60 # 앱종류별 도착시간과 주문시간 차이의 평균 계산 df = df.groupby('앱종류')['diff'].mean() 앱종류별 평균도착시간을 구하려면 아래처럼 쓰이는게 맞지 않나 싶어 문의드립니다. df= df.groupby('앱종류')['실제도착시간'].mean()
- python
- 머신러닝
- 빅데이터
- pandas
- 빅데이터분석기사
seungji
댓글 1
좋아요 0
조회수 55
[typo] 3장. 작전1 명령어 문의
미해결
죽음의 Spring Batch: 새벽 3시의 처절한 공포는 이제 끝이다.
킬구형 잘 지내고 있는가? 날이 차가워졌다가 말다가 뒤죽박죽 3장 작전1의 JpaCursorItemReader 를 활용한 postBlockBatchJob 에 문제가 있어 보인다. 킬구형이 해킹을 잘한다지만, 우리는 못한다!!! 명령어에 jobParameters 가 제외 되었는데 이런 좋은 해킹 공유 해주면 좋겟다! postBlockBatchJob 은 startDateTime / endDateTime 를 필요로 하는 명령어로 보인다. 아래와 같이 구동해야 정상 작동이 되는걸로 보인다 ./gradlew bootRun --args='--spring.batch.job.name=postBlockBatchJob startDateTime=2025-11-16T00:00:00,java.time.LocalDateTime endDateTime=2025-11-20T00:00:00,java.time.LocalDateTime'
- java
- spring
- spring-boot
- spring-batch
- backend
이상민
댓글 1
좋아요 1
조회수 102
인기 태그
인프런 TOP Writers
주간 인기글
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 IT 공부는 했는데 왜 아직도 안 될까요? | AI와 함께 실무 중심 IT 모임 🤖 NOESIS
- 🚀 IT 공부는 했는데 왜 아직도 안 될까요? | AI와 함께 실무 중심 IT 모임 🤖 NOESIS
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv
- 🚀 끝까지 만들어 본 적 있나요? | 실서비스 완성 + 수익 창출 모임 💰 catalyst collectiv