묻고 답해요
158만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
모의고사 1유형
모의고사 1회 입니다아래 코드에 틀린건 없을까요?최종적으로 제출할때 print는 여기에 1개만 있어야하는거죠?print(roc_auc_score(y_val, pred[:,1])) 평가지표에 print 하면 안되는거맞죵? 확인부탁드립니다. #기출1회 import pandas as pd train = pd.read_csv("data/customer_train.csv")test = pd.read_csv("data/customer_test.csv") #***********************데이터확인 # print(train.shape, test.shape) # print(train.head()) #target=성별# print(test.head()) #문자형2개# print(train.info()) #결측치 있음# print(train.isnull().sum())# 환불금액 2295# print(test.isnull().sum())# 환불금액 1611 #***********************전처리 *결합it인 #결측치제거/있음train['환불금액']=train['환불금액'].fillna(0)test['환불금액']=test['환불금액'].fillna(0) #train합치기/없음# pd.concat([X_train, y_train['성별']],axis=1) #id없애기/있음train= train.drop('회원ID',axis=1)test_id= test.pop('회원ID') #t타켓target=train.pop('성별') #인코딩from sklearn.preprocessing import LabelEncoder# from sklearn import preprocessing# print(dir(preprocessing))# print(help(preprocessing.LabelEncoder)) cols= train.select_dtypes(include='object').columns for col in cols : le= LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) #***********************분리from sklearn.model_selection import train_test_splitfrom sklearn import model_selection# print(dir(model_selection))# print(help(model_selection.train_test_split))X_tr, X_val, y_tr, y_val = train_test_split( train, target, test_size=0.2, random_state=2022) #***********************모델from sklearn.ensemble import RandomForestClassifier# model= RandomForestClassifier(random_state=0)model= RandomForestClassifier(random_state=0, max_depth=7, n_estimators=1000)model.fit(X_tr, y_tr)pred= model.predict_proba(X_val) #***********************평가from sklearn.metrics import roc_auc_score# from sklearn import metrics# print(dir(metrics))# print(help(metrics.roc_auc_score))print(roc_auc_score(y_val, pred[:,1])) # 0.6186558526810393 (random_state=0)# 0.6641618297401879 (random_state=0, max_depth=7, n_estimators=1000) #***********************예측pred= model.predict_proba(test)[:,1]result= pd.DataFrame({ 'pred':pred}) #***********************저장result.to_csv('result.csv', index=False)print(pd.read_csv('result.csv'))
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
실행결과 전체보기
안녕하세요.시험환경에서 데이터프레임이 해당 이미지처럼 중간에 생략되지 않고 전체적으로 보는 방법이 있을까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
패널티, 1-오즈비 값 문의
# 작업형3 # 문제1. 주어진 조개 데이터 300개 중 앞에서부터 210개는 train 데이터로 만들고, 나머지 90개는 test데이터로 만든다. # 모델을 학습(적합)할 때는 train데이터를 사용하고, 예측할 때는 test데이터를 사용한다. # 모델은 로지스틱 회귀를 써서 성별(gender)을 예측하되, 패널티는 부과하지 않는다. # 문제1-1. weight를 독립변수로 gender를 종속변수로 사용하여 로지스틱 회귀 모형을 만들고, # weight 변수가 한 단위 증가할 때 수컷일 오즈비 값은? (반올림하여 소수 넷째자리까지 계산)이 문제에서패널티는 부과하지 않는다. --> 만약 패널티를 "부과하라"는 문제가 나오면 어떤 공식을 추가해야 하나요?수컷일 오즈비 값은? --> "암컷"일 오즈비 값은? 이라는 문제가 나오면 어떻게 해야 하나요? 1에서 오즈비 값을 빼면 되나요?
-
미해결실리콘밸리 엔지니어와 함께하는 Apache Airflow
airflow와 postgres간의 connection 오류
airflow와 postgres 간의 connection 오류 문제입니다.airflow UI -> admin-> connections에서 postgres 연결설정docker-compose.yaml 설정 dag 코드입력 airflow tasks test postgres_loader execute_sql_query 2023-01-01 시에 오류가 뜹니다ㅠ[2024-06-21T15:40:45.514+0900] {dagbag.py:545} INFO - Filling up the DagBag from /home/kim/airflow/dags [2024-06-21T15:40:45.805+0900] {taskinstance.py:2076} INFO - Dependencies all met for dep_context=non-requeueable deps ti=<TaskInstance: postgres_loader.execute_sql_query __airflow_temporary_run_2024-06-21T06:40:45.755970+00:00__ [None]> [2024-06-21T15:40:45.811+0900] {taskinstance.py:2076} INFO - Dependencies all met for dep_context=requeueable deps ti=<TaskInstance: postgres_loader.execute_sql_query __airflow_temporary_run_2024-06-21T06:40:45.755970+00:00__ [None]> [2024-06-21T15:40:45.812+0900] {taskinstance.py:2306} INFO - Starting attempt 1 of 1 [2024-06-21T15:40:45.812+0900] {taskinstance.py:2388} WARNING - cannot record queued_duration for task execute_sql_query because previous state change time has not been saved [2024-06-21T15:40:45.813+0900] {taskinstance.py:2330} INFO - Executing <Task(PostgresOperator): execute_sql_query> on 2023-01-01 00:00:00+00:00 [2024-06-21T15:40:45.855+0900] {taskinstance.py:2648} INFO - Exporting env vars: AIRFLOW_CTX_DAG_OWNER='airflow' AIRFLOW_CTX_DAG_ID='postgres_loader' AIRFLOW_CTX_TASK_ID='execute_sql_query' AIRFLOW_CTX_EXECUTION_DATE='2023-01-01T00:00:00+00:00' AIRFLOW_CTX_TRY_NUMBER='1' AIRFLOW_CTX_DAG_RUN_ID='__airflow_temporary_run_2024-06-21T06:40:45.755970+00:00__' [2024-06-21T15:40:45.858+0900] {taskinstance.py:430} INFO - ::endgroup:: [2024-06-21T15:40:45.870+0900] {sql.py:276} INFO - Executing: INSERT INTO sample_table (key, value) VALUES ('hello', 'world') [2024-06-21T15:40:45.875+0900] {taskinstance.py:441} INFO - ::group::Post task execution logs [2024-06-21T15:40:45.875+0900] {taskinstance.py:2905} ERROR - Task failed with exception Traceback (most recent call last): File "/home/kim/.local/lib/python3.10/site-packages/airflow/models/taskinstance.py", line 465, in _execute_task result = _execute_callable(context=context, **execute_callable_kwargs) File "/home/kim/.local/lib/python3.10/site-packages/airflow/models/taskinstance.py", line 432, in _execute_callable return execute_callable(context=context, **execute_callable_kwargs) File "/home/kim/.local/lib/python3.10/site-packages/airflow/models/baseoperator.py", line 401, in wrapper return func(self, *args, **kwargs) File "/home/kim/.local/lib/python3.10/site-packages/airflow/providers/common/sql/operators/sql.py", line 277, in execute hook = self.get_db_hook() File "/home/kim/.local/lib/python3.10/site-packages/airflow/providers/common/sql/operators/sql.py", line 188, in get_db_hook return self._hook File "/usr/lib/python3.10/functools.py", line 981, in __get__ val = self.func(instance) File "/home/kim/.local/lib/python3.10/site-packages/airflow/providers/common/sql/operators/sql.py", line 150, in _hook conn = BaseHook.get_connection(conn_id) File "/home/kim/.local/lib/python3.10/site-packages/airflow/hooks/base.py", line 83, in get_connection conn = Connection.get_connection_from_secrets(conn_id) File "/home/kim/.local/lib/python3.10/site-packages/airflow/models/connection.py", line 519, in get_connection_from_secrets raise AirflowNotFoundException(f"The conn_id `{conn_id}` isn't defined") airflow.exceptions.AirflowNotFoundException: The conn_id `my_postgres_connection` isn't defined
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
잔차이탈도
기존 강의 내용인 glm을 이용해도 무방한거죵?
-
해결됨디지털포렌식 입문자를 위한 디지털포렌식 전문가 2급 실기 시험대비 강의(Encase/Autopsy)
[공통] 네트워크정보 확인(+한글파일의 내부구조 확인) 질문드립니다.
안녕하세요. [공통] 네트워크정보 확인(+한글파일의 내부구조 확인) 강의 수강중 궁금한게 있어 질문드립니다. 1:15:58에 SYSTEMTIME Structure(128bit) (UTC) SYSTEMTIME Structure(128-bit)의 timestamp를 보면UTC랑 UTC+9로 같은 시간을 나타내는 것 같은데 (UTC)로 써야하는 이유가 뭔지 궁금합니다! 9시간을 더하지 않은 (UTC)시간이 이미 rega에서 9시간이 더해진 시간이라서 위에꺼를 쓰는건가요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
RMSE 방법
안녕하세요. 좋은 강의 잘 듣고 있습니다. 강사님께서 RMSE를 만들 때 함수를 만들어서 사용하시는데mean_square_error를 불러온 다음mean_squared_error(squared=False)를 하면 RMSE가 되는 것으로 알고 있습니다.굳이 함수를 만드는 것보다 더욱 쉬울 것 같은데 함수를 만들어 사용하시는 이유가 궁금합니다. 좋은 강의 감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
파라미터 튜닝 질문
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요안녕하세요!이전에 random forest classifier에서는 n_estimators랑 max_depth로 파라미터 튜닝이 가능하다고 말씀해 주셨는데요.제 기억에 분류 모델에서만 적용이 가능했던 것 같은데 Random forest regression에서도 적용해도 되는 걸까요?rf = RandomForestRegressor(random_state=0, n_estimators = 500, max_depth = 5)이렇게요..! 그리고 각 파라미터의 적정 range가 어느 정도인지도 궁금합니다.
-
해결됨[빅데이터 러닝센터] (무료) KNIME으로 시작하는 분석 Skill-Up
실습데이터는 어떻게 다운로드 할수 있을까요?
안녕하십니까실습데이터는 어떻게 다운로드 할 수 있는지 안내 부탁드립니다.감사합니다.
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
전체 행,열 보이게 하기
pd.set_option(diplay.max_columns, 'None') 으로 전체컬럼 보기 말씀해주셨는데 혹시 취소하는방법도 알수있을까요? colab에서 지우고 실행해봐도 계속 전체 데이터가 보여서요 ㅠㅠ
-
미해결[코드팩토리] [초급] NestJS REST API 백엔드 완전 정복 마스터 클래스 - NestJS Core
part2는 언제..
혹시 언제쯤 강의로 볼 수 있을까요 ㅠㅠpart1 내용이 너무 좋아요
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
마지막에 result 쉐입이 train데이터 행렬로 출력이 되어서요. 뭐가 잘못되엇을까요??
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요!질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요먼저 유사한 질문이 있었는지 검색해보세요 #1.데이터불러오기 import pandas as pd train = pd.read_csv("energy_train.csv") test = pd.read_csv("energy_test.csv") #2.EDA print(train.shape, test.shape) print(train.info()) print(test.info()) print(train.isnull().sum()) print(test.isnull().sum()) print(train.describe()) print(train.describe(include='O')) print(train.head(2)) print(test.head(2)) target = train.pop('Heat_Load') print(train.shape, test.shape) #3.전처리 #범주형->원핫인코딩 train = pd.get_dummies(train) test = pd.get_dummies(train) #4.검증데이터분리 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train, target, test_size=0.2, random_state=10) print(X_tr.shape, X_val.shape, y_tr.shape, y_val.shape) #5.모델링및평가 from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier(random_state=0) rf.fit(X_tr, y_tr) pred = rf.predict(X_val) f1_score(y_val, pred, average='macro') pred = rf.predict(test) submit = pd.DataFrame({ 'pred':pred }) submit.to_csv('result.csv', index=False) df = pd.read_csv("result.csv") print(df.shape)
-
미해결비전공자도 쉽게 시작하는 증강현실(AR)로 나만의 고양이 만들기
아이폰으로도 빌드하는 방법 알고 싶어요
강의 잘 듣고 있습니다. 그런데 제가 가지고 있는 핸드폰이 아이폰 뿐이라서 아이폰으로 실습할 수 있는 방법을 단계적으로 알수 있을까요? 빌드 부분만 틀린 것이라면 간단한 글로 방법을 설명해 주셨으면 합니다. 그부분만 잘 설명된 사이트가 있으면 알려주셨으면 합니다.
-
미해결자바와 스프링 부트로 생애 최초 서버 만들기, 누구나 쉽게 개발부터 배포까지! [서버 개발 올인원 패키지]
궁금한게 또 있습니다!!
강의 04:40초 부분인데요 public void saveUser(UserCreateRequest request) { User u = userRepository.save(new User(request.getName(), request.getAge())); throw new IllegalArgumentException(); }이부분에서 예외를 주고 서버를 띄어서 확인을 했는데저렇게 "서버 내부 오류입니다" 라고 뜨는 것은 예외를 던져주면 자동으로 저렇게 뜨게 설정되어있는 건가요?아니면 이렇게 예외를 던지면 ui에서 이렇게 띄어줘 라고 설정을 해주신건가요?
-
해결됨코딩테스트 [ ALL IN ONE ]
Lowest common ancestor of a binary tree문제 질문❓
Lowest common ancestor of a binary tree문제에서 아래 코드가 정답 코드로 알고 있는데,# Definition for a binary tree node. # class TreeNode: # def __init__(self, x): # self.val = x # self.left = None # self.right = None class Solution: def lowestCommonAncestor( self, root: "TreeNode", p: "TreeNode", q: "TreeNode" ) -> "TreeNode": if root == None: return None left = self.lowestCommonAncestor(root.left, p, q) right = self.lowestCommonAncestor(root.right, p, q) if root.val == p.val or root.val == q.val: return root elif left and right: return root else: return left or right # elif left: # return left # elif right: # return right # else: # reutrn None위 코드에서 아래 부분을 해주는 이유가 무엇인지 궁금합니다.if root.val == p.val or root.val == q.val: return root elif left and right: return root else: return left or right
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
작업형2 유의사항에 대해 질문드립니다.!
빅분기시험 유의사항에 다음과 같이2유형에서 자동 생성되는 index 칼럼을 제거하라고 나와있는데요.혹시 이 자동 생성되는 index 칼럼 제거의 의미가 마지막에 index = False로 코딩하라는 소리일까요..?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이원분산분석
선생님 이원분산분석에서 한 컬럼이라도 범주형(object) 값이 있다면 모든 컬럼을 C로 감싸주어야할까요? 아니면 해당 범주형 컬럼인 종자만 이렇게 C로 감싸줘도 되는걸까요?
-
해결됨[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
7회 기출 3의 logit
7회 3번의 1번 문제에서weight의 coef 계수가 logit과 glm에서 상이하게 나오는거 같은데 상관없나요?
-
미해결비전공자의 전공자 따라잡기 - 자료구조(with JavaScript)
최소힙 remove 구현하기
class MinHeap { // 최소힙 arr = []; #reheapUp(index) { if (index > 0) { const parentIndex = Math.floor((index - 1) / 2); if (this.arr[index] < this.arr[parentIndex]) { const tmp = this.arr[index]; this.arr[index] = this.arr[parentIndex]; this.arr[parentIndex] = tmp; this.#reheapUp(parentIndex); } } } insert(value) { const index = this.arr.length; this.arr[index] = value; // 마지막에 값을 넣어준다. this.#reheapUp(index); } #reHeapDown(index) { const leftIndex = index * 2 + 1; // 왼쪽 Index if (leftIndex < this.arr.length) { // 만약에 왼쪽 인덱스가 총 배열의 길이보다 작은경우 const rightIndex = index * 2 + 2; const smaller = this.arr[leftIndex] > this.arr[rightIndex] ? leftIndex : rightIndex; if (this.arr[index] < this.arr[smaller]) { const temp = this.arr[index]; this.arr[index] = this.arr[smaller]; this.arr[smaller] = temp; this.#reHeapDown(smaller); } } } remove() { // root만 remove if (this.arr.length === 0) { return false; } if (this.arr.length === 1) { // 마지막 하나 남으면 pop해서 리턴해주기 return this.arr.pop(); } const root = this.arr[0]; this.arr[0] = this.arr.pop(); this.#reHeapDown(0); return root; } sort() { // 힙 정렬 const sortedArray = []; while (this.arr.length > 0) { sortedArray.push(this.remove()); } return sortedArray; } search(value) { for (let i = 0; i < this.arr.length; i++) { if (arr[i] === value) { return i; } } } } const minheap = new MinHeap(); minheap.insert(78); minheap.insert(56); minheap.insert(45); minheap.insert(32); minheap.insert(23); minheap.insert(19); minheap.insert(8); console.log(minheap.arr); minheap.remove(); minheap.remove(); minheap.remove(); minheap.remove(); minheap.remove(); minheap.remove(); 최대힙 코드를 최소힙 구하기 코드로 바꿔봤습니다. 질문1) 최소힙 구하기 remove 코드가 맞을까요?질문2) 최대힙이든 최소힙이든 sort 메서드가 sort 메서드 호출시 remove 메서드를 while문 루프로 호출하여서 sort 메서드 실행 후에 this.arr가 당연하게 빈배열이 되는데 while문 전에 this.arr를 변수에 담아두었다가 while 루프가 끝난후에 다시 this.arr 멤버변수에 넣어주어야 하는거 아닌가 궁금합니다.
-
미해결문제로 배우는 C언어
30과 10의 xor
교재의 예제 3번에서 a+b는 30이 되고, a-b는 10이 되어서,30은 2진수로 11110이고, 10은 2진수로 1010이므로 xor연산 결과로 10100이 되어 답은 20이라고 생각했습니다.하지만 실행결과는 10이라고 출력됩니다.구글에서 xor 연산 계산기를 검색하여 나온 계산기로 XOR Calculator Online, MiniWebtool에서는 30과 10의 연산결과가 20이라고 나오는데, 어떤게 맞는건지 모르겠습니다. 아래는 제 코드입니다. #include <stdio.h>int main(void){ int a = 20, b = 10; a = a + b; b = a - b; printf("%d\n", a ^ b); return 0;}