안녕하세요! 선생님 개설 강의중에 스파크로 배우는 머신러닝 문의드립니다.사내에서 데이터분석을 위해 파이썬과 파이스파크를 이용중인데,파이스파크 사용법에 익숙치 않습니다.. 선생님의 위 강의가, 파이스파크 강의인지 궁금합니다.감사합니다

65 unique characters FATAL Flags parsing error: Unknown command line flag 'f' Pass --helpshort or --helpfull to see help on flags. E0331 00:27:13.561940 139884619077440 ultratb.py:152] Internal Python error in the inspect module. Below is the traceback from this internal error. Traceback (most recent call last): File "/usr/local/lib/python3.9/dist-packages/absl/app.py", line 156, in parse_flags_with_usage try: File "/usr/local/lib/python3.9/dist-packages/absl/flags/_flagvalues.py", line 652, in __call__ raise _exceptions.UnrecognizedFlagError( absl.flags._exceptions.UnrecognizedFlagError: Unknown command line flag 'f' During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/usr/local/lib/python3.9/dist-packages/IPython/core/interactiveshell.py", line 3553, in run_code exec(code_obj, self.user_global_ns, self.user_ns) File "<ipython-input-6-c4a8a0bf2191>", line 170, in <cell line: 168> app.run(main) File "/usr/local/lib/python3.9/dist-packages/absl/app.py", line 300, in run try: File "/usr/local/lib/python3.9/dist-packages/absl/app.py", line 369, in _run_init logging.use_absl_handler() File "/usr/local/lib/python3.9/dist-packages/absl/app.py", line 216, in _register_and_parse_flags_with_usage original_argv = sys.argv if argv is None else argv File "/usr/local/lib/python3.9/dist-packages/absl/app.py", line 166, in parse_flags_with_usage sys.stderr.write('Pass --helpshort or --helpfull to see help on flags.\n') SystemExit: 1 During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/usr/local/lib/python3.9/dist-packages/IPython/core/ultratb.py", line 1101, in get_records return _fixed_getinnerframes(etb, number_of_lines_of_context, tb_offset) File "/usr/local/lib/python3.9/dist-packages/IPython/core/ultratb.py", line 248, in wrapped return f(*args, **kwargs) File "/usr/local/lib/python3.9/dist-packages/IPython/core/ultratb.py", line 281, in _fixed_getinnerframes records = fix_frame_records_filenames(inspect.getinnerframes(etb, context)) File "/usr/lib/python3.9/inspect.py", line 1543, in getinnerframes frameinfo = (tb.tb_frame,) + getframeinfo(tb, context) AttributeError: 'tuple' object has no attribute 'tb_frame' --------------------------------------------------------------------------- UnrecognizedFlagError Traceback (most recent call last) /usr/local/lib/python3.9/dist-packages/absl/app.py in parse_flags_with_usage(args) 155 """ --> 156 try: 157 return FLAGS(args) 13 framesUnrecognizedFlagError: Unknown command line flag 'f' During handling of the above exception, another exception occurred: SystemExit Traceback (most recent call last) [... skipping hidden 1 frame] SystemExit: 1 During handling of the above exception, another exception occurred: TypeError Traceback (most recent call last) [... skipping hidden 1 frame] /usr/local/lib/python3.9/dist-packages/IPython/core/ultratb.py in find_recursion(etype, value, records) 380 # first frame (from in to out) that looks different. 381 if not is_recursion_error(etype, value, records): --> 382 return len(records), 0 383 384 # Select filename, lineno, func_name to track frames with TypeError: object of type 'NoneType' has no len()

코랩 실행시 에러메시지가 자주 뜹니다 ㅠㅠ가령 보스턴 집값 예측하기(4-1)강의를 수강 중인데첫줄부터 실행을 누르면 아래와 같이 에러메시지가 뜨고,하위 코드도 전부 에러가 뜹니다. [Errno 2] No such file or directory: '/content/gdrive/My Drive/deeplearningbro/pytorch' /content

안녕하세요. 강의 통해 항상 도움 받고 있습니다.다름이 아니라 현재 진행중인 프로젝트에서 모델을 학습하며 Validation 데이터셋에 대한 성능을 확인하는데, Validation 데이터셋의 shuffle을 했을 때와 안했을 때 성능에 유의미한 차이가 발생합니다.무엇이 이유이며 Validation 및 Test Dataset은 항상 Shuffle=False로 설정해주어야 하는지 궁금합니다.

안녕하세요 맥 환경에서 머신러닝 공부중입니다.현재 맥북프로로 M1 pro칩 기반에서 작동 중에3분 30초에 GridSearchCV 작동부분에서 아래와 같은 오류가 발생합니다.DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples,), for example using ravel().n_jobs = -1로 설정하였을 때는 결국 timeout으로 빠져 작동 정지 됩니다.아마 cpu환경이 M1과 다르기 때문에 생기는 오류라고 생각되어 n_jops=2, 4, 8 ,10으로 설정하여 가동을 시켰습니다.n_jops를 변경하면 값이 결과값이 나오지만, 여전히 DataConversionWarning이 나옵니다.왜 그런지 알 수 있을까요?(사진 함께 첨부합니다.)

안녕하세요 선생님선생님 강의를 통해서 custom dataset을 이용하여faster-rcnn 모델을 돌려볼 수 있었습니다.이 custom dataset으로 다른 모델(swin)도 적용해보려고 하는데요 https://github.com/open-mmlab/mmdetection/tree/master/configs/swin 이 페이지의 mask_rcnn_swin-t-p4-w7_fpn_1x_coco.py 파일을 이용해보려고 합니다. 그에 맞게 config파일과 checkpoints를 변경하고 모델을 구동하려고 하니 mask관련해 오류가 발생했습니다. 아마 mask-rcnn으로인해 발생한 오류처럼 보입니다. 구글링을 해보니 이 부분을 주석 처리해서 실행해보라고 하던데 colab에서 해당 부분을 주석처리할 수 있는 방법이 있을까요? 혹시 더 좋은 방법이 있다면 가르쳐 주시면 감사하겠습니다.2023-03-27 14:19:05,247 - mmdet - INFO - Automatic scaling of learning rate (LR) has been disabled. <ipython-input-14-f8ce61995cc8>:47: DeprecationWarning: `np.long` is a deprecated alias for `np.compat.long`. To silence this warning, use `np.compat.long` by itself. In the likely event your code does not need to work on Python 2 you can use the builtin `int` for which `np.compat.long` is itself an alias. Doing this will not modify any behaviour and is safe. When replacing `np.long`, you may wish to use e.g. `np.int64` or `np.int32` to specify the precision. If you wish to review your current use, check the release note link for additional information. Deprecated in NumPy 1.20; for more details and guidance: https://numpy.org/devdocs/release/1.20.0-notes.html#deprecations 'labels': np.array(gt_labels, dtype=np.long), <ipython-input-14-f8ce61995cc8>:49: DeprecationWarning: `np.long` is a deprecated alias for `np.compat.long`. To silence this warning, use `np.compat.long` by itself. In the likely event your code does not need to work on Python 2 you can use the builtin `int` for which `np.compat.long` is itself an alias. Doing this will not modify any behaviour and is safe. When replacing `np.long`, you may wish to use e.g. `np.int64` or `np.int32` to specify the precision. If you wish to review your current use, check the release note link for additional information. Deprecated in NumPy 1.20; for more details and guidance: https://numpy.org/devdocs/release/1.20.0-notes.html#deprecations 'label_ignore':np.array(gt_labels_ignore, dtype=np.long) 2023-03-27 14:19:08,688 - mmdet - INFO - load checkpoint from local path: checkpoints/mask_rcnn_swin-t-p4-w7_fpn_1x_coco_20210902_120937-9d6b7cfa.pth 2023-03-27 14:19:08,849 - mmdet - WARNING - The model and loaded state dict do not match exactly size mismatch for roi_head.bbox_head.fc_cls.weight: copying a param with shape torch.Size([81, 1024]) from checkpoint, the shape in current model is torch.Size([16, 1024]). size mismatch for roi_head.bbox_head.fc_cls.bias: copying a param with shape torch.Size([81]) from checkpoint, the shape in current model is torch.Size([16]). size mismatch for roi_head.bbox_head.fc_reg.weight: copying a param with shape torch.Size([320, 1024]) from checkpoint, the shape in current model is torch.Size([60, 1024]). size mismatch for roi_head.bbox_head.fc_reg.bias: copying a param with shape torch.Size([320]) from checkpoint, the shape in current model is torch.Size([60]). size mismatch for roi_head.mask_head.conv_logits.weight: copying a param with shape torch.Size([80, 256, 1, 1]) from checkpoint, the shape in current model is torch.Size([15, 256, 1, 1]). size mismatch for roi_head.mask_head.conv_logits.bias: copying a param with shape torch.Size([80]) from checkpoint, the shape in current model is torch.Size([15]). 2023-03-27 14:19:08,856 - mmdet - INFO - Start running, host: root@06d3ab7dae34, work_dir: /content/gdrive/MyDrive/htp_dir_swin 2023-03-27 14:19:08,858 - mmdet - INFO - Hooks will be executed in the following order: before_run: (VERY_HIGH ) StepLrUpdaterHook (NORMAL ) CheckpointHook (LOW ) EvalHook (VERY_LOW ) TextLoggerHook -------------------- before_train_epoch: (VERY_HIGH ) StepLrUpdaterHook (NORMAL ) NumClassCheckHook (LOW ) IterTimerHook (LOW ) EvalHook (VERY_LOW ) TextLoggerHook -------------------- before_train_iter: (VERY_HIGH ) StepLrUpdaterHook (LOW ) IterTimerHook (LOW ) EvalHook -------------------- after_train_iter: (ABOVE_NORMAL) OptimizerHook (NORMAL ) CheckpointHook (LOW ) IterTimerHook (LOW ) EvalHook (VERY_LOW ) TextLoggerHook -------------------- after_train_epoch: (NORMAL ) CheckpointHook (LOW ) EvalHook (VERY_LOW ) TextLoggerHook -------------------- before_val_epoch: (NORMAL ) NumClassCheckHook (LOW ) IterTimerHook (VERY_LOW ) TextLoggerHook -------------------- before_val_iter: (LOW ) IterTimerHook -------------------- after_val_iter: (LOW ) IterTimerHook -------------------- after_val_epoch: (VERY_LOW ) TextLoggerHook -------------------- after_run: (VERY_LOW ) TextLoggerHook -------------------- 2023-03-27 14:19:08,859 - mmdet - INFO - workflow: [('train', 1)], max: 5 epochs 2023-03-27 14:19:08,860 - mmdet - INFO - Checkpoints will be saved to /content/gdrive/MyDrive/htp_dir_swin by HardDiskBackend. --------------------------------------------------------------------------- KeyError Traceback (most recent call last) <ipython-input-35-c8cc0d536607> in <module> 4 mmcv.mkdir_or_exist(os.path.abspath(cfg.work_dir)) 5 # epochs는 config의 runner 파라미터로 지정됨. 기본 12회 ----> 6 train_detector(model, datasets, cfg, distributed=False, validate=True) 6 frames/usr/local/lib/python3.9/dist-packages/mmdet-2.28.2-py3.9.egg/mmdet/apis/train.py in train_detector(model, dataset, cfg, distributed, validate, timestamp, meta) 244 elif cfg.load_from: 245 runner.load_checkpoint(cfg.load_from) --> 246 runner.run(data_loaders, cfg.workflow) /usr/local/lib/python3.9/dist-packages/mmcv/runner/epoch_based_runner.py in run(self, data_loaders, workflow, max_epochs, **kwargs) 134 if mode == 'train' and self.epoch >= self._max_epochs: 135 break --> 136 epoch_runner(data_loaders[i], **kwargs) 137 138 time.sleep(1) # wait for some hooks like loggers to finish /usr/local/lib/python3.9/dist-packages/mmcv/runner/epoch_based_runner.py in train(self, data_loader, **kwargs) 47 self.call_hook('before_train_epoch') 48 time.sleep(2) # Prevent possible deadlock during epoch transition ---> 49 for i, data_batch in enumerate(self.data_loader): 50 self.data_batch = data_batch 51 self._inner_iter = i /usr/local/lib/python3.9/dist-packages/torch/utils/data/dataloader.py in __next__(self) 626 # TODO(https://github.com/pytorch/pytorch/issues/76750) 627 self._reset() # type: ignore[call-arg] --> 628 data = self._next_data() 629 self._num_yielded += 1 630 if self._dataset_kind == _DatasetKind.Iterable and \ /usr/local/lib/python3.9/dist-packages/torch/utils/data/dataloader.py in _next_data(self) 1331 else: 1332 del self._task_info[idx] -> 1333 return self._process_data(data) 1334 1335 def _try_put_index(self): /usr/local/lib/python3.9/dist-packages/torch/utils/data/dataloader.py in _process_data(self, data) 1357 self._try_put_index() 1358 if isinstance(data, ExceptionWrapper): -> 1359 data.reraise() 1360 return data 1361 /usr/local/lib/python3.9/dist-packages/torch/_utils.py in reraise(self) 541 # instantiate since we don't know how to 542 raise RuntimeError(msg) from None --> 543 raise exception 544 545 KeyError: Caught KeyError in DataLoader worker process 0. Original Traceback (most recent call last): File "/usr/local/lib/python3.9/dist-packages/torch/utils/data/_utils/worker.py", line 302, in _worker_loop data = fetcher.fetch(index) File "/usr/local/lib/python3.9/dist-packages/torch/utils/data/_utils/fetch.py", line 58, in fetch data = [self.dataset[idx] for idx in possibly_batched_index] File "/usr/local/lib/python3.9/dist-packages/torch/utils/data/_utils/fetch.py", line 58, in <listcomp> data = [self.dataset[idx] for idx in possibly_batched_index] File "/usr/local/lib/python3.9/dist-packages/mmdet-2.28.2-py3.9.egg/mmdet/datasets/custom.py", line 220, in __getitem__ data = self.prepare_train_img(idx) File "/usr/local/lib/python3.9/dist-packages/mmdet-2.28.2-py3.9.egg/mmdet/datasets/custom.py", line 243, in prepare_train_img return self.pipeline(results) File "/usr/local/lib/python3.9/dist-packages/mmdet-2.28.2-py3.9.egg/mmdet/datasets/pipelines/compose.py", line 41, in __call__ data = t(data) File "/usr/local/lib/python3.9/dist-packages/mmdet-2.28.2-py3.9.egg/mmdet/datasets/pipelines/loading.py", line 398, in __call__ results = self._load_masks(results) File "/usr/local/lib/python3.9/dist-packages/mmdet-2.28.2-py3.9.egg/mmdet/datasets/pipelines/loading.py", line 347, in _load_masks gt_masks = results['ann_info']['masks'] KeyError: 'masks'

선생님 차원축소 부분을 공부하다가 개념이 헷갈리는 부분이 있어서 질문드립니다...제가 이해한 바로는 차원 축소는 피처의 개수를 줄이는 것 보다는 차원 축소를 통해 데이터를 잘 설명할 수 있는 잠재적인 요소를 추출하는게 목적인데 그러면 코드상에서 저렇게 차원축소로 fit transform 한 결과로 나오는 저 두 숫자들이 의미하는 바가 무엇인지 이해가 잘 안됩니다. 저렇게 2차원으로 차원 축소를 시켜서 나오는 2개의 피처들이 의미하는게 새로운 축? 이라고 이해해야 하나요..? 저 각각의 lda_component들이 무엇을 의미하는지가 이해가 잘 안됩니다.

안녕하세요 선생님. 선생님 강의를 열심히 듣고 있는 수강생중 한명입니다. 다름이 아닐 강의 내용중 count_vect.get_feature_names()는 단어들이 나오는데feat_vect.get_feature_naems()는 안되는 이유가 있을까요?

안녕하세요 강사님 유익한 강의에 감사드립니다.현재 트리 알고리즘을 공부 중에 있습니다. 교재 233p에서 '-0.802'음수로 된 당도를 이사님께...' 이 부분에서 의문이 생겼습니다. 데이터를 열어 확인해 보았을 때는feature_names로 입력된 세가지 특성 모두 음수가 없었는데, 예제의 트리에서는 특성<=음수로 분류되는 경우가 많더라구요. 트리 알고리즘은 표준화 전처리가 필요 없다고 설명해주셔서 그 값은 특성값에 그대로 적용되는 것으로 이해했는데, 그렇다면 해당 특성 전체가 양수인 데이터를 음수보다 작은 것을 조건으로 나눌 수 있는 것이 맞나요?음수인 데이터가 없으니 조건대로라면 트리의 한 방향으로 전부 치우치게 되어야 하지 않나하는 생각이 들었습니다.

epoch를 돌리는 코드에서 loss = loss_func( y_minibatch, y_minibatch_pred) 했는데 다음과 같은 오류가 났습니다." 0D or 1D target tensor expected, multi-target not supported "그래서 쥬피터의 원본대로 pred를 먼저하니까 정답이 나오더라구요. 구글링을 해본 결과 nn.CrossEntropyLoss()(pred, target) 계산된다고합니다.질문1. 순서를 지켜야하는 이유가 있나요?질문2. MSE와 BCE도 (pred, target) 순서를 지켜야하나요?  구글링을 해봤는데 정확하게 나오지는 않아서 여쭤보게 되었습니다.감사합니다.

아이템 기반 인접 이웃 협업 필터링 실습 내용 중 문의드립니다. 28:16에서 확인가능한 최종 9번 사용자에 대하여보지않은 영화 중 예측평점이 높은 영화 10개를 추천해주는 결과에서 1위 Shrek은 pred_score가 0.866202로 확인됩니다.실제 평점범위가 0보다 크며 가장 큰 값은 5인데추천되는 영화의 예측평점이 너무 낮은건 아닌지요?pred_score가 나올 수 있는 값의 범위와 의미가 궁금합니다. 

안녕하세요.수업 중에 가중치 W와 파라미터가 같은 말이라고 설명해주셨습니다. 보통 파라미터의 개수라고 하면 정확히 무엇을 의미하나요?아래 수업 자료를 보면 앞 노드에서 다음 노드로 연결되는 화살표가 3개씩 있습니다. 그럼 이 화살표 각각을 파라미터 1개라고 간주해서, 아래 화살표 개수를 모두 합친 것을 파라미터 개수라고 하는지요? 아니면 앞 레이어에서 다음 레이어로 넘어갈 때, 한 노드에서 다음 노드로 화살표가 3개 있더라도, 파라미터는 1개라고 간주하나요?예를 들어 오픈AI의 GPT3의 파라미터는 1750억개라고 하는데, 여기서 파라미터 개수의 정의가 궁금합니다.

분류 결정 예측 확율은 Classifier내부에서 자체적으로 t, z, x^2 등의 분포를 통해 나타내는 지표인가요

타이핑은 똑같이 했습니다.. catch함수 빼면 나머지는 동작됩니다

Confusion Matrix 의 FN 과 FP 는 혹시 Statistics 학문에서의 Type I Error 와 Type II Error 인가요?

안녕하세요 강사님 좋은 강의에 감사드립니다.다름이 아니라 경사하강법을 공부 중 의문점이 들어 질문글을 작성하게 되었습니다.에포크를 반복하며 과소-적정-과대 적합으로 성능이 진행되는 것으로 배웠는데요, 211p의 예시에서는 에포크마다 데이터가 새로 추가되지는 않은 것으로 이해를 했습니다.그럼 같은 데이터를 반복해서 학습을 시키는 건데, 그게 성능 개선에 어떻게 영향을 미치고 효과를 발휘하게 되는 것인지 궁금합니다.같은 데이터를 반복한다면 성능 개선이 없어야 하는 것으로 이해가 되어서요

 시계열 처리의 차분법과 수익률 및 이동평균 계산 강의가 중복 된 것 같습니다.수익률 및 이동평균 계산 강의가 누락 된 것 같은데 확인 부탁드립니다.

안녕하세요 선생님, 다름이 아니라 타이타닉 생존자 예측1 강의를 복습하다 코드에 에러가 생겨 질문드립니다. titanic_df['Cabin']에서 첫 번째 문자열만 가져오기 위해서 titanic_df['Cabin'].str[:1]을 실행하였으나 'PandasArray' object has no attribute '_str_getitem' 라는 에러가 나왔습니다. 해당 에러를 고치기 위해 어떻게 코드를 수정해야 하는지 혹은 어떤 다른 방법으로 조치해야 하는 지 여쭙기 위해 질문드립니다.

안녕하세요 강사님 책으로 공부하고 있는 학생입니다.다름이 아니라 sklearn의 score()함수에 대해 질문이 있습니다.책의 158p 다중 회귀모델 훈련하기에서 예시코드로 print(lr.score(test_poly, test_target))이라는 코드를 작성하고, -144.40... 이라는 값을 얻게 됩니다. 제가 알기로는 score 메소드가 반환하는 것은 R^2 상관계수인데, 이게 보통은 0~1의 값을 가질텐데 이렇게 큰 음수가 나오는건 무엇을 의미하는걸까요? 대략적으로 이게 맞지 않다는 것은 이해하겠는데, 어째서 큰 음수가 나오는 것인지 통 이해가 되질 않습니다.사실 이 부분은 로지스틱 회귀를 공부하다 생긴 일부의 질문입니다.183p에서 시그모이드 함수를 학습하는 중, z값은 어떤 값이든 가능하다고 하셨는데 어째서 그것이 가능한걸까요? '3장에서 다룬 다중 회귀를 위한 선형 방정식과 같다'고 하셨는데 z값이 정확히 의미하는 바가 무엇인지 모르겠습니다. z값이 무엇인지 모르니 왜 (-∞~∞)의 범위를 가지는지 이해할 수 없고 더 나가지를 못하고 있습니다... 몇번을 싸매고 봐도 정말 잘 모르겠습니다..

안녕하십니까.2월에 인공지능 서비스 모델 설계을 수강후 주신 쿠폰으로 좋은 교육 듣고 있습니다.몇가지 문의 사항이 있어서 연락드립니다.1. 학습된 모델을 “Model 적용” regr.predict()를 사용하여 모델적용 결과를 도출하는게 맞는지요?2. 모델에 지속적인 학습을 위해서는 regr.fit()으로 전체 데이터를 재구성하여 재 학습시키는지, 아니면 추가 데이터만 학습 시키는 방법이 있는지요?예) regr.fit(diabetes_X_curr, diabetes_y_curr)3. . 모델을 계속 적용하여 결과를 도출하고, 학습을 지속적으로 하면서 결정계수가 계속 낮아진다면 어떤 작업을 해야 하는지요?010.Simple Linear Regression 정리 자료