[리뉴얼] 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 캐글 문제 풀며 정리하기) [데이터분석/과학 Part2]
히트맵 및 막대그래프를 만들 때 아래와 같은 오류가 나옵니다..!ㅠㅠ 1. heatmap train.corr(numeric_only=True).iplot(kind='heatmap', colorscale='Blues') ValueError: Invalid property specified for object of type plotly.graph_objs.layout.XAxis: 'titlefont' 2. 막대그래프 df.iplot(kind='bar') ValueError: Invalid value of type 'builtins.str' received for the 'color' property of bar.marker.line Received value: 'rgba(255, 153, 51, np.float64(1.0))'
안녕하세요. [섹션2. 파이썬 인공지능 활용] 에서 웹 자료 수집하기 예시에 있는 "자동차 연비-한국에너지공단"사이트가 현재 변경된 것 같습니다. (검색 시 보이지 않고, 링크를 똑같이 따라서 쳐봐도 사이트 오류로 나옵니다.ㅠㅠ) 그래서 데이터 테이블이 있는 다른 사이트에서 교수님의 방법으로 스크래핑을 하려는데.. 교수님처럼 코랩에서 테이블 내용이 읽혀지지 않습니다. 교수님의 방식처럼 테이블 데이터가 코랩에서 읽혀지는 사이트 나 혹시 제가 잘못 찾고 있다면, 해당 강의에서 예시로 삼은 자동차연비 사이트 링크 주소 를 알 수 있을까요??이후 강의(판다스)에서도 이어지는 내용인것 같아, 수업을 따라가기 어려운 상황입니다.ㅠㅠ 도와주세요~!!
안녕하세요, 수업시간에 작업형3 독립성 검정(범주형 데이터 분석)에서 아래와 같은 방법들을 알려주셨는데요, 어디까지가 방법1이고 어디부터가 방법2인지 알 수 있을까요? 시험에서는 가장 쉬운 방법으로 하고 싶은데요, 독립성 검정에서 가장 간단하고 쉽게 코드를 작성하려면 어떻게 작성하면 되는건지 알려주시면 감사하겠습니다. 그리고 수업 노트에 빈칸으로 된 파일이 안 올라와 있던데, 올려주시면 감사하겠습니다.
안녕하세요 최적화이론1을 거의 완강한 수강생입니다. 강의중에 몇몇 내용들은 최적화이론2에서 다룰거라고 몇 번 말씀을 하셨는데, 아직 최적화이론2 강의가 있는거 같지 않아서 여쭤봅니다. 혹시 최적화이론2 강의 계획이 있으신가요? 최적화이론1 강의가 도움이 너무 많이 되어서 2 강의도 꼭 듣고 싶습니다.
안녕하세요 강사님 최근에 YOLO를 이용해 이것 저것 연습을 하는데 궁금한 점이 있습니다. 데이터셋의 크기가 너무 커서(2TB) 일단 필요한 부분만 선택해서 학습을 했습니다. 그런데 이렇게 하면 새로운 데이터셋을 추가해서 학습을 시키려면 <기존 1TB + 새로운 데이터셋> 이렇게 합친 데이터셋을 다시 학습을 해야 하나요...? 예를 들어 a, b, c, d를 탐지할 수 있게 학습을 하고 추가적으로 ㄱ, ㄴ, ㄷ, ㄹ도 탐지할 수 있게 데이터를 추가해서 총 a, b, c, d, ㄱ, ㄴ, ㄷ, ㄹ을 모두 탐지할 수 있도록... 마지막 출력 계층만 새롭게 학습을 하는 방법은 기존 데이터셋에 대한 성능이 떨어질 수 있어 좋은 선택은 아닌가요...?
@DATASETS.register_module(force=True) class KittyTinyDataset(CustomDataset): # 커스텀 데이터셋에서 사용할 클래스명 저장. CLASSES = ('Car', 'Truck', 'Pedestrian', 'Cyclist') ##### self.data_root: /content/kitti_tiny/ self.ann_file: /content/kitti_tiny/train.txt self.img_prefix: /content/kitti_tiny/training/image_2 #### ann_file: /content/kitti_tiny/train.txt # annotation에 대한 모든 파일명을 가지고 있는 텍스트 파일을 __init__(self, ann_file)로 입력 받고, 이 self.ann_file이 load_annotations()의 인자로 입력 def load_annotations(self, ann_file): print('##### self.data_root:', self.data_root, 'self.ann_file:', self.ann_file, 'self.img_prefix:', self.img_prefix) print('#### ann_file:', ann_file) cat2label = {k:i for i, k in enumerate(self.CLASSES)} image_list = mmcv.list_from_file(self.ann_file) # 포맷 중립 데이터를 담을 list 객체 data_infos = [] datasets = [build_dataset(cfg.data.train)] 클래스 설정 후(위 박스) 아래박스 코드로 데이터셋을 생성하면 load_annotations의 ann_file에 cfg.data.train.ann_file의 값이 자동으로 들어가는 것으로 이해했습니다. 또한 self.ann_file 값으로는 KittyTinyDataset이 상속받은 CustomDataset의 ann_file 값이 들어가는데 이 또한 데이터셋 생성시 CustomDataset에 cfg.data.train.ann_file의 값이 자동으로 들어가는 것으로 이해했습니다. 이 과정이 맞다면 데이터셋 생성시 self.ann_file과 ann_file에 들어가는 값이 동일한데 두가지 방식 모두 사용하는 이유가 궁금합니다. 과정이 틀렸다면 self.ann_file과 ann_file의 값이 언제 어떤 방식으로 할당되는지 궁금합니다.
학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! 질문과 관련된 영상 위치를 알려주면 더 빠르게 답변할 수 있어요 먼저 유사한 질문이 있었는지 검색해보세요 빅분기 실기 작업형 1유형, 2유형, 3유형은 대체 무엇을 묻기 위해 어떤 기준으로 구분한 것인지 그 설명을 듣고 싶습니다. 그래서 무엇을 정리하고 준비해야 하는지에 대한 정리를 실제 작업형 1,2,3유형 문제를 두고 설명해 주시기 바랍니다. 즉, 작업형 문제를 바로 풀기에 앞서 이 문제는 무엇을 묻기 위한 문제로 배경지식으로는 무엇이 필요한 것인지 문제에 출제 문제의 설명(출제 포인트)을 달아 주시기 바랍니다. 빅분기 실기 항목은 데이터수집작업, 전처리작업, 모형구축작업, 모형평가작업이라고 나와 있는데 이것이 각각 작업형 1~3유형에 어디에 해당하는지 설명이 없고, 작업형 1~3유형 또한 데이터수집작업, 전처리작업, 모형구축작업, 모형평가작업 중 어디에 해당하는지 설명이 없습니다. 이러한 내용이 정리되었으면 좋겠습니다. GPT에 물으니 아래와 같은 답변이 나왔는데 맞는지도 검토바랍니다. 빅데이터분석기사 실기 시험에서 작업형 문제는 제1유형, 제2유형, 제3유형 으로 구분됩니다. 각 유형은 문제 해결 방식과 요구되는 기술적 접근법이 다릅니다. 작업형 문제 유형별 특징 작업형 제1유형 (30점, 3문제, 각 10점) 주요 내용 : 데이터 전처리 및 기초적인 데이터 분석 요구되는 기술 : 데이터 정리(결측치 처리, 이상치 제거) 데이터 변환(스케일링, 원-핫 인코딩 등) 간단한 통계 분석(평균, 중위수, 표준편차 등) 예제 : 주어진 데이터셋에서 특정 열의 결측치를 평균값으로 대체하시오. 작업형 제2유형 (40점, 1문제, 가장 배점 높음) 주요 내용 : 머신러닝 모델 구축 및 평가 요구되는 기술 : 데이터셋 분할(훈련/테스트 세트) 머신러닝 알고리즘 적용(랜덤포레스트, XGBoost 등) 모델 성능 평가(정확도, RMSE 등) 예제 : 주어진 데이터를 이용하여 고객 이탈 여부를 예측하는 분류 모델을 구축하고, 정확도를 출력하시오. 작업형 제3유형 (30점, 2문제, 각 15점) 주요 내용 : 데이터 시각화 및 고급 데이터 분석 요구되는 기술 : 데이터 시각화(히스토그램, 박스플롯, 산점도 등) 군집 분석(K-means, DBSCAN 등) 연관 분석(Apriori, FP-Growth 등) 예제 : 주어진 데이터를 이용해 군집 분석을 수행하고, 각 군집의 평균값을 시각화하시오. 시험에서 중요한 점 작업형 제2유형(40점)이 가장 중요 하므로, 모델 구축과 평가 연습이 필수입니다. 시험 환경은 구름IDE 기반 이므로, Python(Pandas, Scikit-learn, Matplotlib 등)에 익숙해져야 합니다. 제1유형과 제3유형은 기본적인 데이터 처리 및 시각화 능력을 평가 하므로, 이를 빠르게 해결할 수 있도록 연습이 필요합니다.
[리뉴얼] 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 캐글 문제 풀며 정리하기) [데이터분석/과학 Part2]
xgboost 2.1.3 버전의 XGBRegressor 사용시 pandas 2.2.2에서는 pd.util.version이 제거되었으므로 "AttributeError: module 'pandas' has no attribute 'util'"에러 발생하여 xgboost 라이브러리 코드를 수정해야 함 경로: $ANACONDA3_HOME/lib/python3.12/site-packages/xgboost/data.py 수정 후 주피터 재시작 # 기존 def is_pd_sparse_dtype(dtype: PandasDType) -> bool: """Wrapper for testing pandas sparse type.""" import pandas as pd if hasattr(pd.util, "version") and hasattr(pd.util.version, "Version"): Version = pd.util.version.Version if Version(pd.__version__) >= Version("2.1.0"): from pandas import SparseDtype return isinstance(dtype, SparseDtype) from pandas.api.types import is_sparse return is_sparse(dtype) # 변경 def is_pd_sparse_dtype(dtype: PandasDType) -> bool: """Wrapper for testing pandas sparse type.""" import pandas as pd from pandas import SparseDtype return isinstance(dtype, SparseDtype)
def hello(): print("안녕하세요!") # 함수 호출 print(hello()) 안녕하세요! None 위에 hello()로 단순이 결과값을 도출했을때에는 아래 답변 안녕하세요!만 나왔었는데 print(hello())했을 경우에는 아래에 None까지 나와서 문의드립니다
질문 1) 강의의 마지막 부분에서 결론적으로 t와 t*의 차이가 동일시 되도록 학습을 진행하는것이 맞을까요? 질문 2) 강의 7분부터 나오는 슬라이드의 맨 위에 적힌 글에서는 "g.t-예측 박스 차이"와 "anchor-g.t 차이"를 동일하게 하라고 적혀있는데 아래 식과 다음 챕터 강의 내용으로 보았을 때는 "anchor-예측 박스 차이"와 "g.t-anchor 차이"를 동일하게 하라고 하는 것 같습니다. 무엇이 맞는지 궁금합니다.
제가 이해한 바로는 G.T와 Positive Anchor box의 차이와 예측 bounding box와 Positive Anchor box의 차이가 동일시 되도록 학습을 진행하는것으로 이해했습니다. 이렇게 되면 최종 학습을 마친 이상적인 예측 바운딩 박스는 G.T와 가장 가까운 Positive Anchor box의 위치와 동일하게 되는것이 맞는지 궁금합니다. 가장 이상적인 답은 g.t의 위치를 따라가야 하는게 아닐까 하는 의문이 들어 질문 남깁니다.
