172만명의 커뮤니티!! 함께 토론해봐요.
해결됨
BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)
내용이 많아 notion에 대신 작성했습니다. [Foodie Express 분석 보고서]( https://www.notion.so/claire1125/Foodie-Express-14110fb577ad8074b8d5ce0c58609bc2?pvs=4 )
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
sumsum을 하는 이유는 뭘까요?
해결됨
BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)
제품 자체는 앱의 기본 flow만 갖춰진 상태다. 앱 스플래시 - 로그인 - 홈 진입 후 검색 / 즐겨찾기 / 주문내역 / 카테고리 페이지를 볼 수 있고 restaurant -> food_detail -> cart -> payment -> order_success로 이어지는 funnel을 갖고있다. WITH login_data AS ( SELECT DISTINCT user_pseudo_id, FORMAT_DATE('%Y-%m-01', event_date) AS login_month FROM advanced.app_logs WHERE event_date BETWEEN '2022-03-01' AND '2023-01-31' ) SELECT login_month, COUNT(DISTINCT user_pseudo_id) FROM login_data GROUP BY login_month ORDER BY login_month MAU를 계산해보면, 7,500에서 시작하여 23,373까지 성장했다. 23년 1월 데이터는 절반 정도까지만 있으므로, 지속적인 성장세를 보여주고 있다고 판단할 수는 있겠다. 하지만 런칭 후 +2달 이후로는 계속 진전 없는 모습을 보여준다. 배달 앱이기 때문에, 평일-주말에는 다른 접속률을 보여줄 것이다. 그러므로 weekly retention 지표를 활용한다. WITH base AS( SELECT DISTINCT user_id, event_name, DATETIME(TIMESTAMP_MICROS(event_timestamp), 'Asia/Seoul') AS event_datetime, DATE(TIMESTAMP_MICROS(event_timestamp), 'Asia/Seoul') AS event_date, user_pseudo_id FROM advanced.app_logs WHERE event_date BETWEEN '2022-08-01' AND '2022-11-03' AND event_name = 'click_payment' ) , dates AS( SELECT DISTINCT user_pseudo_id, DATE_TRUNC(MIN(event_date) OVER (PARTITION BY user_pseudo_id), WEEK(MONDAY)) AS first_week, DATE_TRUNC(event_date, WEEK(MONDAY)) AS event_week FROM base ) , first_week_and_diff AS ( SELECT *, DATE_DIFF(event_week, first_week, week) AS diff_of_week FROM dates ) , user_counts AS ( SELECT diff_of_week, COUNT(DISTINCT user_pseudo_id) AS user_cnt FROM first_week_and_diff GROUP BY diff_of_week ORDER BY diff_of_week ) , first_week_user_count AS ( SELECT diff_of_week, user_cnt, FIRST_VALUE(user_cnt) OVER(ORDER BY diff_of_week) AS first_week_user_cnt FROM user_counts ) SELECT *, SAFE_DIVIDE(user_cnt, first_week_user_cnt) AS retain_rate FROM first_week_user_count weekly retention으로 살펴보면, 첫 주에 1%의 고객이 남고 그 후로는 어느정도 플래튜가 형성되는 모습이다. 따라서 아직은 PMF를 찾지 못했다고 할 수 있다. 그렇다면 재접속을 하는 유저는 그렇지 않은 유저와 어떻게 다를까? 총 기간동안의 퍼널 이벤트 수는 아래와 같다. WITH base AS ( SELECT event_date , event_timestamp , event_name , user_id , user_pseudo_id , platform , MAX(IF(event_param.key = 'firebase_screen', event_param.value.string_value, NULL)) AS firebase_screen , MAX(IF(event_param.key = 'session_id', event_param.value.string_value, NULL)) AS session_id FROM `advanced.app_logs` CROSS JOIN UNNEST(event_params) AS event_param WHERE event_date BETWEEN '2022-08-01' AND '2023-01-31' GROUP BY ALL ) , filter_event_and_concat_event_and_screen AS ( SELECT * EXCEPT(event_name, firebase_screen, event_timestamp) , DATETIME(TIMESTAMP_MICROS(event_timestamp), 'Asia/Seoul') AS event_datetime , CONCAT(event_name, '-', firebase_screen) AS event_name_with_screen FROM base WHERE event_name IN ('screen_view', 'click_payment') ) SELECT event_name_with_screen , CASE WHEN event_name_with_screen = 'screen_view-welcome' THEN 1 WHEN event_name_with_screen = 'screen_view-home' THEN 2 WHEN event_name_with_screen = 'screen_view-food_category' THEN 3 WHEN event_name_with_screen = 'screen_view-restaurant' THEN 4 WHEN event_name_with_screen = 'screen_view-cart' THEN 5 WHEN event_name_with_screen = 'click_payment-cart' THEN 6 ELSE NULL END AS STEP_NUMBER , COUNT(DISTINCT user_pseudo_id) AS cnt FROM filter_event_and_concat_event_and_screen GROUP BY ALL HAVING step_number IS NOT NULL ORDER BY step_number 홈에서 food category를 선택하는 유저의 비율은 65% 카테고리에서 식당을 고르는 유저의 비율은 91% 식당에서 장바구니에 담는 유저의 비율은 58% 장바구니로부터 결제하는 유저의 비율은 67% 정도이다. 일단 탐색을 시작하면 카테고리, 식당에 대해 잘 찾아보는 편이고, 장바구니에 담아 결제까지 하는 것에 대해서는 event 수가 급감한다. 재접속을 하는 유저들의 퍼널을 페이지 기준으로 나눠보았다. WITH base AS( SELECT DISTINCT user_id, event_name, DATETIME(TIMESTAMP_MICROS(event_timestamp), 'Asia/Seoul') AS event_datetime, DATE(TIMESTAMP_MICROS(event_timestamp), 'Asia/Seoul') AS event_date, user_pseudo_id FROM advanced.app_logs WHERE event_date BETWEEN '2022-08-01' AND '2023-01-31' ) , dates AS( SELECT DISTINCT user_pseudo_id, DATE_TRUNC(MIN(event_date) OVER (PARTITION BY user_pseudo_id), WEEK(MONDAY)) AS first_week, DATE_TRUNC(event_date, WEEK(MONDAY)) AS event_week FROM base ) , first_week_and_diff AS ( SELECT *, DATE_DIFF(event_week, first_week, week) AS diff_of_week FROM dates ) , retain_user AS ( SELECT DISTINCT user_pseudo_id FROM first_week_and_diff WHERE diff_of_week >= 1 ) , base2 AS ( SELECT event_date , event_timestamp , event_name , user_id , user_pseudo_id , platform , MAX(IF(event_param.key = 'firebase_screen', event_param.value.string_value, NULL)) AS firebase_screen , MAX(IF(event_param.key = 'session_id', event_param.value.string_value, NULL)) AS session_id FROM `advanced.app_logs` CROSS JOIN UNNEST(event_params) AS event_param WHERE event_date BETWEEN '2022-08-01' AND '2023-01-31' AND user_pseudo_id IN ( SELECT user_pseudo_id FROM retain_user ) GROUP BY ALL ) , filter_event_and_concat_event_and_screen AS ( SELECT * EXCEPT(event_name, firebase_screen, event_timestamp) , DATETIME(TIMESTAMP_MICROS(event_timestamp), 'Asia/Seoul') AS event_datetime , CONCAT(event_name, '-', firebase_screen) AS event_name_with_screen FROM base2 WHERE event_name IN ('screen_view', 'click_payment') ) SELECT event_name_with_screen , CASE WHEN event_name_with_screen = 'screen_view-welcome' THEN 1 WHEN event_name_with_screen = 'screen_view-home' THEN 2 WHEN event_name_with_screen = 'screen_view-food_category' THEN 3 WHEN event_name_with_screen = 'screen_view-restaurant' THEN 4 WHEN event_name_with_screen = 'screen_view-cart' THEN 5 WHEN event_name_with_screen = 'click_payment-cart' THEN 6 ELSE NULL END AS STEP_NUMBER , COUNT(DISTINCT user_pseudo_id) AS cnt FROM filter_event_and_concat_event_and_screen GROUP BY ALL HAVING step_number IS NOT NULL ORDER BY STEP_NUMBER 한번이라도 재접속한 사람들은 웰컴 -> 홈을 넘어가는 비율이 거의 100%에 가깝다. 아무래도 login이란 허들때문일 것이다. 그렇다면, login 허들을 좀 더 잘 넘기 위해 제품 온보딩을 잘 해줘야하지 않을까? 확실히 프로덕트에 대한 차별점 설명이 부족하므로, 이 부분을 강화하여 '어떤 core value를 가진 배달앱'인지를 어필할 필요가 있겠다. 그리고 홈에서 카테고리로 넘어가는 비율이 73%, 카테고리에서 식당 페이지로 92%, 식당 페이지에서 장바구니로는 55% 장바구니로부터 결제까지 이어지는 비율은 67%이다. 재접속한 유저들은 홈에서 food category를 선택하는 데에 좀 더 높은 전환율을 보였다. 그렇다면 이들이 다른 유저들 대비하여 추가적으로 느낀 이점은 무엇일지 고민할 필요가 있을 것이다. 재접속 기준만으로는 차이가 별로 없어서 click payment 경험이 있고 재접속을 한 유저들의 퍼널을 구해봤다. 비교적 매우 높은 전환율을 보여준다. 특히 카테고리를 굳이 선택하지 않고 바로 식당을 선택하는데, 카테고리가 비교적 메리트있게 설계되지 않아서 그런 것인지? 라는 생각이 든다. 이벤트 데이터가 더 있었다면, 식당으로 전환되는 페이지들의 비율을 살펴보면서 홈의 비중이 높지 않을까 하고 보겠지만, 지금은 그냥 그렇지 않을까 하고 추측해본다. 확실히 구매를 했고, 2번 이상 접속한 유저들의 퍼널 전환율은 매우 좋다. 해당 제품이 직접 보기에는 배달 주문에 필수적인 기능들만 있지만, 해당 1만 4천명 정도의 유저들이 느끼는 분명한 메리트가 있을 것이다. 그 메리트로부터 core value를 찾고, 고객들이 좋아하는 기능 중심으로 발전시켜 나가야할 것이다.
해결됨
BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)
과제 관련 노션 링크 첨부합니다! https://www.notion.so/4-6-1-1419f4b04d5380308bbdf4a19394e924?pvs=4
해결됨
BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)
4주차 최종과제 노션 링크입니다:) https://salt-baron-5c5.notion.site/4-Foodie-Express-13ea734e64b8801595f8c8c3467d9bc5?pvs=4
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 작업형 2 모의문제 3 코드 작성후 랜덤포레스트 평가지표 (accuracy, f1_score, roc_auc score) 출력결과가 모두 1.0 으로 나오는데, 혹시 이런 경우가 있나요? (수업에선 0.7~0.8대로 출력) 없다면 문제가 뭐인지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
회귀분석 강의에서 범주형 변수가 있을 때 1) 그냥 ols 돌려도 된다 2) 원핫인코딩 한 담에 ols 돌려도 된다 라고 말씀 주시는 것 같습니다. 근데 또, 다른 강의에선 formula 생성 시 범주형 변수 일 때 C로 감싸라고 하시기도 하셨어서 조금 헷갈리는 것 같습니다. 어떤 차이가 있는지요 ?
해결됨
BigQuery(SQL) 활용편(퍼널 분석, 리텐션 분석)
Notion 링크로 대체합니다. https://colney4844.notion.site/4-13e59b98d5db80d6937fc8fbd6e207e6?pvs=4
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
로지스틱회귀분석에서 패널티를 줄때 입력 코드는 어떻게 쓰나요? 패널티부과안함일 경우는 그냥 아무것도 안하면 되죠~~~
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 sklearn.metrics 안에 root_mean_squared_error이 있던데 이거로 rmse 구하면 안되는건가요?
해결됨
초보자를 위한 BigQuery(SQL) 입문
강의자료 업로드 상태 확인 및 전달 부탁드립니다. 커리큘럼 목차에서 강의자료 다운로드 한 이후 zip 안에 파일이 없는 것으로 나와 강의자료 확인할 수가 없습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
70%의 데이터를 추출하는 과정에서 그냥 df[:int(len(df)*0.7)을 한 것과 df.loc[int(len(df), : ]과 결과값에 차이가 존재하는 걸 확인했습니다. 왜 차이가 발생하는지 알 수 있을까요? 이전 작업까지의 결과물은 수치가 정상적으로 나오는 것을 확인했습니다. df[:int(len(df)*0.7) 의 경우 df.loc[int(len(df), : ]
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 선생님, 1) ID 삭제 여부 ID는 삭제해도 되고, 삭제 안해도 무방하며 이 경우 가중치가 낮게 적용이 된다고 답변 주신 것을 보았습니다. 그런데 모의문제1번과 2번을 풀어보니 ID를 포함하여 학습시켰을 때 성능 점수가 높더라구요...^^;; 무슨 연관이 있을까요..? 시험에서도 ID 포함해도 문제가 되지는 않겠지요? 2) 회귀 성능 기준 r2 점수가 0.18이 나왔는데 이런 결과가 나와도 시험에서 점수 받는데 문제가 없을까요? 실무에서는 낮은 점수라고 볼 수 있을 것 같은데 성능을 높이기 위해 별도로 조치하지 않고 제출해도 되는지 궁금합니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
5회 기출 1번 문제 2L 가격 0 제외 drop써서 할 수 있는 방법도 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요, 선생님. (비전공자, 파이썬 사용 경험 X) 이번에 일정상 18일부터 빅분기 실기 공부가 가능한데 12일의 시간이 남네요. (시간 올인 투자 가능하긴 합니다.) 12일 동안 공부한다고 가정할때 빅분기 실기 합격 가능성이 있을까요..?? 혹시 추천하시는 방법이 있으시면 말씀 부탁드립니다 ㅜㅜ..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
#원핫인코딩 train = pd.get_dummies(train, columns=cols) test = pd.get_dummies(test, columns=cols) 이렇게하니까 ValueError: Boolean array expected for the condition, not object이런 오류가 계속 나는데 왜그런가요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
코드2의 방식이 좀 어려운거같은데 ㅠㅠ 시험칠 때 비교적 간결한 코드1의 방식으로 해도 되나요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
model = RandomForestRegressor() model.fit (X_tr,y_tr) pred = model.predict(y_val) 이렇게 해서 검증데이터로 예측해서 모델 평가하고 실제로 제출할 떄에는 pred = model.predict(test) 로 예측해서 test_id, pred로 형성된 데이터프레임을 제출하는게 맞는거죠??
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
X_tr, X_val, y_tr, y_val = train_test_split(train[cols], target, test_size = 0.2, random_state = 0) 이렇게 했으면 X_tr에 train[cols]가 들어가게 되는거같은데 모델 학습시 model.fit(X_tr) 이렇게만 해줘도 안되나요? 꼭 model.fit(X_tr[cols])까지 한번더 해줘야하나요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모의문제1,2 유형 풀고 있는데 문제1에서는 dropna가 주로 나오고 유형2에서는 drop이 나오던데 drop과 dropna의 차이가 뭔가요?
