173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
실리콘밸리 엔지니어와 함께하는 OpenAI API (ChatGPT)
Assistant 기능으로 데이터를 tagging 하는 봇을 만들려고 합니다. tagging에 관한 정보를 file에 업로드 하고 필요한 내용을 bot을 통해 묻고 답으로 tag list를 받아 보려고 하는데요, 이 때 file로 질문 마다 새로운 thtread를 만들어서 질문을 하게 되면 file을 확인할때는 매번 token을 사용한걸로 처리가 되고 비용이 청구 될까요? 이런 목적으로 하는 경우에는 file 보다는 fine-turing이 더 좋을까요?
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train.drop('charges',axis=1), train['charges'], test_size=0.15, random_state = 2022) X_tr.shape, X_val.shape, y_tr.shape, y_val.shape 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 먼저 선생님의 코드는 위와 같았습니다. 아래는 제가 수정해서 작성한 코드입니다. from sklearn.model_selection import train_test_split X_train = train.drop('charges', axis = 1) y_train = train['charges'] X_tr, X_val, y_tr, y_var = train_test_split(X_train, y_train, test_size = 0.15, random_state= 2002) -------> 보기 편하려고 이렇게 넣었더니 y_var을 찾을 수 없다는 에러가 나왔음 헷갈리지 않기 위해 이와 같이 변수로 처리한 뒤 train_test_split을 했더니 X_train.head를 찍어도 선생님과 다른 결과가 나오고 평가 수식을 적은 후 linear regression을 하니 y_val이 정의되지 않았다고 에러가 나옵니다. 이유가 무엇인지 한참 고민해도 알아내지 못해서 질문 남깁니다. 답변해 주시면 감사하겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 선생님은 baseline으로 object를 drop하고 머신러닝 모델을 돌리셨는데 그렇게 하시는 이유가 있나요? object를 삭제하는 것이 일반적인가요 아니면 인코딩해서 포함하는 것이 일반적인지요 시험 때 어떻게 해야할지 조금 헷갈려서요~
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
선생님 안녕하세요! 현재 작업형2 연습을 하고 있는데 데이터 전처리 과정에서 어떤 문제는 object형 모두를 삭제하고, 어떤 문제에서는 int, float, object형 각각 일부 선택해서 삭제 또는 결측치 입력 후 검증 하던데 선생님은 어떤 기준으로 나누는지 아니면 어떤 기준을 가지고 나누면 도움이 되는지 궁금합니다!
해결됨
[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)
강사님 도움을 요청합니다. 아래의 문제로 몇일을 끙끙이다 현재의 본인의 수준으로는 해결을 못해서 염치불구 하고 도움을 구합니다. 사이트에서 페이지 넘기기가 안됩니다. 코드를 올립니다. 마지막 부분 반복문에서 순차적으로 다음 페이지로 넘기려고 하는데 다 넘어가지 못하고 에러가 납니다. 페이지를 변수에 담아 프린트 해보면 8개의 페지가 찍이는데 반복문으로 넘어가서는 8개의 페지로 순차적으로 이동이 안되고 걸립니다. 코드는 아래와 같이 했습니다. 바쁘실줄 알지만 길이 없어 문의하니 한번 봐주시면 감사하겠습니다.
미해결
FastAPI 완벽 가이드
선생님 강의에서는 아나콘다를 사용하셨는데, 저는 pipenv를 사용하고싶거든요.. 콘다 말고 다른 가상환경을 사용해도 괜찮을까요?
해결됨
남박사의 파이썬으로 봇 만들기 with ChatGPT
https://map.naver.com/p/api/smart-around/places?searchCoord=127.108519%3B36.817412&boundary=127.09854112852958%3B36.807207632892144%3B127.1187113403231%3B36.82744325030478&code=01&limit=20&sortType=RECOMMEND&timeCode=AFTERNOON 위 링크인데, 아무래도 현재 막힌 것 같습니다ㅠㅠ 영상 재촬영이 어렵다면 보충 설명이라도 추가 가능할까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
다중분류에서도 똑같이 타겟 y값만 따로 빼두고 train_x 와 test를 합친후 전처리하고 원핫인코딩을 적용한후 다시 분류하면 라벨인코딩을 사용하지 않아도 될까요? 그리고 문제에서 제출 형식을 predict_proba()[:1] 로 하는 경우도 제시해주나요 ?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
캐글 문제 모아놓은 노션페이지 강의에서 보여주시는데 어디서 볼수있을까요? 캐글 사이트로 바로들어가면 너무 뒤죽박죽이어서요 ㅠㅠ..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요 결측치 관련 질문드립니다 1.시험에서 test 데이터가 주어질시 제가 test데이터 행을 삭제하지 않아야 하는것은 인지했습니다. 그러나 test 데이터의 결측치를 제 임의대로 값을 넣어도 되는것인가요? 강의를 보니 이상치를 컨트롤하는 케이스는 거의없으나 결측치는 object는 최빈값 int,float은 중앙값이나 0 을 대입하는데 모든경우에 통일되는 방법인가요? 혹은 시험장에서 여러가지 결측치 처리 방법을 전부 알고가서 하나하나 검증하며 가장 값이 높은걸 넣어야 하나요 시험장에서 A로 평가하겠다 하면 검증을 통해 나오는 수치가 A를통해 보통 몇 이상이 나와야 제출할수 있을까요?
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
안녕하세요. 강의 잘 듣고 있습니다!! 예시문제 작업형2에서, 예시에서는 pred가 0,1로만 나오는데 제출은 확률값인 0,xxx이런형태로 제출해도 되는 것이 맞나요....? roc_auc_score여서 확률값제출이 맞는 것 같은데, 예제를 볼때는 0/1로만 되어있어 질문드립니다! 감사합니다.
미해결
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
drop작업 = 주석 처리 - 진행하지 않으면 key:'Gender' 오류남. 영상 19:02부분 # baseline - object컬럼 제거 cols = train.select_dtypes(include='object').columns # include는 파라미터라서 ==이 아닌 = 로 대입 cols print(train.shape, test.shape) # train.drop(cols, axis=1, inplace=True) train = train.drop(cols, axis=1) test = test.drop(cols, axis=1) print(train.shape, test.shape) # label from sklearn.preprocessing import LabelEncoder for col in cols: le = LabelEncoder() train[col] = le.fit_transform(train[col]) test[col] = le.transform(test[col]) train[cols].head() # one-hot
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
1. predict와 predict_proba 모두 머신러닝 모델에서 예측할 때 사용하는 함수인데, 빅분기 시험에서 제출할 때 predict_prob함수를 사용해야만 하는 이유가 있나요? 2. random_state 경우 train&test split에도 사용하고 예축 모델에서도 사용하셨는데 빅분기 시험에서는 train&test split만 사용해도 괜찮나요? (그리드서치를 통한 하이퍼 파라미터 탐색에서도 train&test split에서만 random_state를 사용하는 경우가 있는 것 같아서요. -> 각 분할된 데이터셋의 최적의 하이퍼 파라미터 탐색하는 방식)
해결됨
인프라공방 - 그럴듯한 서비스 만들기
지하철 노선도 미션의 망 구성하기 에서 처음 VPC를 생성할 때, 할당하는 CIDR 블록도 결국은 프라이빗 IP 주소라고 이해하는게 맞는건가요? 제가 이해한 내용은 다음과 같습니다. VPC에 할당된 CIDR 블록 (192.168.0.0/24) 및 내부에 속한 4개의 서브넷 IP 대역은 모두 VPC 내에서만 사용되는 프라이빗 IP 주소다. 퍼블릭 서브넷 자체는 프라이빗 IP 주소로 할당되어 있지만, 퍼블릭 서브넷인 이유는 IGW와 연결되어 인터넷 접속이 가능하기 때문이다. (인터넷 통신을 할 때, NAT를 통해 프라이빗 IP 주소가 IGW의 퍼블릭 IP 주소로 변환된다) 제가 이해한 내용이 맞는지 혹시 이 중에서 틀린 내용이 있는지 알고 싶습니다!
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
이렇게 자동으로 코딩이 되는거 없앨 수 없나요? 직접 혼자서 적어보려는데 자동입력이 되어 공부가 잘안되는거같습니다..
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
시험에서 단순선형회귀든 다중선형회귀든 잔차 구할 때, model.resid 구하는 함수로 구해도 되나요? (단순선형회귀 강의에서 잔차를 실제값에서 예측값빼는식으로 구하지 않고)
미해결
리눅스 IPC 프로그래밍 - 이론과 실습
안녕하세요. 커리어를 위해 해당 업무를 수강하는 개린이(개발자 어린이)입니다. 구현 중 해결되지 못한 사항이 있어 질문 남깁니다. 현재 구현하고 있는 상황은 두 개의 프로세스(A.exe, B.exe)가 임계영역에 접근하기 위해 posix named semaphore를 사용해 동시성을 지키고 있는 예제를 만들었습니다. named semaphore를 1개 만들어 두 개의 프로세스에 번갈아 소유권을 넘겨 임계영역에 접근하는 예제입니다. 따라서 두 프로세스의 코드는 동일합니다. 같은 이름으로 만들어진 named semaphore가 있다면 EEXIST 에러를 조건문으로 걸어 이미 생성된 named semaphore를 사용하도록 예외처리를 해놓은 상태입니다. 여기서 하나의 프로세스(B.exe)가 named semaphore의 소유권을 가지고 있던 상태에서 갑작스러운 상황에 비정상적으로 종료된다면, 즉 named semaphore의 자원을 정상적으로 sem_post(sem) 하지 못한 상태에서 프로세스가 종료되는 상황에서 다시 해당 프로세스를 동작시켰을 때, 기존에 사용됐던 named semaphore가 정상 동작하지 않는 것을 확인했습니다. 제가 생각했을 땐 비정상적으로 프로세스가 종료되면서 메모리 어딘가에 해당 named semaphore 주소값이 있고 그 주소값을 가져오지 못해 생기는 메모리 낭비의 영역인 것 같습니다. 이런 경우에, 프로세스가 비정상적으로 종료된 경우에 같은이름으로 선언된 naemd semaphore를 재사용하는 방법이나 예외처리나 파라미터 flag 값들이 있다면 지식을 나눠주시면 감사하겠습니다.
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
--------------------------------------------------------------------------- FileNotFoundError Traceback (most recent call last) Cell In[8], line 1 ----> 1 train_data = pd.read_csv("/kaggle/input/titanic/train.csv") 2 train_data.head() 다운이 제대로 받지 않아서 생기는 문제 같은데요... 영상에서는 다운을 받는 과정이 생략되어있는거 같은데 자세하게 알려주세요
해결됨
[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)
단일표본검정 예시 문제에서 귀무가설을 기각하고 채택하는게 헷갈려 질문합니다! 단측검정 "합격원두 상품의 평균 무게는 120g보다 크다"의 경우 코드를 실행했을 때 p-value가 0.01985가 도출됩니다. 그렇다면 유의수준 0.05보다 작기 때문에 귀무가설을 기각하고 대립가설인 "합격원두 상품의 평균 무게는 120g보다 작다"를 채택하는 것이지요? 그런데 해당 표본의 평균은 120g보다 큰 121g인데.... 어디서 제가 잘못이해한걸까요?
미해결
RAG 마스터: 기초부터 고급기법까지 (feat. LangChain)
안녕하세요. 수업 내용 중 Ollama 임베딩 모델에서 아래와 같이 임베딩 모델을 설정하고 embed_documents 사용하면 아래와 같은 오류가 발생합니다. from langchain_ollama import OllamaEmbeddings embeddings_model = OllamaEmbeddings(model="bge-m3") documents = [ "인공지능은 컴퓨터 과학의 한 분야입니다.", "머신러닝은 인공지능의 하위 분야입니다.", "딥러닝은 머신러닝의 한 종류입니다.", "자연어 처리는 컴퓨터가 인간의 언어를 이해하고 생성하는 기술입니다.", "컴퓨터 비전은 컴퓨터가 디지털 이미지나 비디오를 이해하는 방법을 연구합니다." ] # 문서 임베딩 document_embeddings = embeddings_model.embed_documents(documents) # 임베딩 결과 출력 print(f"임베딩 벡터의 개수: {len(document_embeddings)}") print(f"임베딩 벡터의 차원: {len(document_embeddings[0])}") print(document_embeddings[0]) 오류의 캡처 사진과 문구는 아래와 같습니다. 오류문구 : ConnectError: [WinError 10061] 대상 컴퓨터에서 연결을 거부했으므로 연결하지 못했습니다 해결방법 확인 부탁드립니다. 감사합니다.
