안녕하세요대용량 데이터 join 방법에 대해 질문드립니다.source A,B,C가 있고 A와 B를 union 하고 C를 조인해야 하는 상황입니다. A, B, C 각각은 모두 대용량 데이터입니다.하지만, 이 코드를 실행하면 spark 내부적으로 C를 2번 read해 A와 C를 조인하고, B와 C를 조인하는 DAG이 생성되는 것을 UI에서 확인했습니다. 이에, C를 1번만 read하게 만들기 위해서 cDF.persist(StorageLevel.DISK_ONLY)를 중간에 삽입해, 원래 의도대로 A와 B를 union하고 C를 조인하도록 DAG을 변경하였습니다. 이런 상황에서 persist를 사용하지 않고 해결할 방법이 있을까요?

이젠 대학교의 선형대수나 대학 수학강의에서만 배워요 ㅠㅠ

안녕하세요, CRNN 모델을 Custom Dataset으로 Training 하려고 하는 도중에 위와 같은 에러가 발생하는데 해결 방법에 대해 문의를 드립니다. 

안녕하세요? 강의 잘 듣고 있습니다.다름이 아니라, SMOTE를 활용하여 데이터를 생성하는 과정에서저의 데이터는 강의에서 보여지는 것과 달라서 질문 드립니다.이렇게 선형데이터로 생성되어도 0,1을 구분하기 위하여 러닝을 하는데에 영향을 미치지는 않을까요?제 코드내용은 링크로 공유드립니다.감사합니다.

안녕하세요 선생님. 5단원까지 작 마쳤는데, 급하게 7단원의 군집화 내용이 필요할 일이 생겨서 7단원 먼저 학습 후 6단원으로 넘어가려고하는데, 혹시 이렇게 학습 진행해도 상관 없을까요?

안녕하세요. 학습 관련해서 질문 있습니다!집 데스크탑은 라데온이라 그런데 CPU로 학습만 해도 충분한 정도인가요?그리고 서버로는 CUDA를 쓸수 있으면 remote하게 학습하는 방법도 활용 가능할까요?유니티나 ml-agents는 처음 써봐서 질문 드립니다...!

우선 너무 좋은 강의 덕분에 제가 제조업에서 데이터 사이언티스트 흉내나마 내고 있습니다.제 기억으론 레이블인코딩보더 원핫인코딩을 더 쓴다고 강의에서 들었던 거 같은데, 왜 타이타닉 생존자 예측에는 레이블인코딩을 한걸까요?그리고 근거는 없지만 선형회귀에서는 원핫인코딩을 해야할 거 같은데, 분류에서는 딱히 인코딩을 안해도 될 거 같은데 느낌이 드는데, 의견 여쭐 수 있을까요?그리고 Embarked 항목에 4개 정도 피쳐가 있는데(S, C, Q N) 예측할 데이터에 이 항목에 없는 데이터가 들어오면 어떻게 되나요? 예를 들면 A가 들어와도 중요한 피쳐가 아니면 크게 영향이 없을까요? 

안녕하세요! cvat로 어노테이션을 진행한뒤 yolo 5 로 학습할대 에러가 나와서 문의 드립니다. 학습을 한 셀에서 결과가 .... 20 epochs completed in 0.033 hours. Optimizer stripped from content/dataset/result/plt/weights/last.pt, 92.8MB Optimizer stripped from content/dataset/result/plt/weights/best.pt, 92.8MB Validating content/dataset/result/plt/weights/best.pt... Fusing layers... Model summary: 267 layers, 46129818 parameters, 0 gradients, 107.7 GFLOPs Class Images Instances P R mAP50 mAP50-95: 0% 0/8 [00:00<?, ?it/s]Exception in thread Thread-8: Traceback (most recent call last): File "/usr/lib/python3.8/threading.py", line 932, in bootstrapinner self.run() File "/usr/lib/python3.8/threading.py", line 870, in run self._target(*self._args, **self._kwargs) File "/content/yolov5/utils/plots.py", line 287, in plot_images cls = names[cls] if names else cls KeyError: 0 이후에... Exception in thread Thread-10:Exception in thread Thread-12:에러가 납니다.   어떤 문제일까요??;        - 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 강의 내용을 질문할 경우 몇분 몇초의 내용에 대한 것인지 반드시 기재 부탁드립니다. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

노션 자료를 1월에 오픈한다고 하셨는데요~언제쯤 볼 수 있을까요?

안녕하세요 강의 잘 듣고 있습니다!분류결정 임곗값에 대해서 강의를 들을땐 잘 이해가 됐었는데 복습하면서 정리하다보니 제가 잘 이해가 안되는 부분이 있어 질문드립니다.예를 들어, 분류 결정 임곗값이 0.3까지 낮아졌다고 할 때 pred_proba array에서 [0.49, 0.51] 이런 식으로 나온 경우 결국 0이나, 1이나 둘 다 임곗값은 넘었는데 어떤 걸로 예측하나요? 임곗값을 0.5로 설정했을땐 이럴 일이 없겠지만 임곗값을 낮췄을 때 어떻게 분류가 되는지 궁금합니다.확률 간의 비교를 해서 더 높은 확률로 분류를 하는지 아니면 단순히 둘 다 넘었을 땐 positive로 분류하는 건지 알고싶습니다!감사합니다.

안녕하세요 선생님. LogisticRegression 설명을 하시다가 사이킷런 LogisticRegression에서는 L1, L2 규제 중 하나를 선택해서 사용하셨는데, 앞에서 L1 규제면 릿지회귀, L2 규제면 라쏘회귀라고 배웠습니다.그럼 L1 규제를 사용한 LogisticRegression은 릿지회귀인가요 로지스틱회귀인가요?

안녕하세요. 권철민 선생님.머신러닝을 업무에 적용하기 위해 공부하고 있는 직장인입니다.분류, 회귀 등을 공부하다가 텍스트 분석과 추천 시스템까지 오게 되었는데요. 이 컨텐츠들은 이공계 직렬의 데이터 분석과는 조금 거리가 있다는 생각이 들어 건너 뛸까 생각했으나 제가 제대로 모르기 때문에 놓치는 부분이 있을까 하여 질문 드립니다..혹시 해당 기술이 이공계 데이터 분석에서 사용된 사례가 있을까요? 선생님의 지혜 여쭙습니다. 

남겨주신 노마크코더님의 영상과 기술블로그 글을 보았는데요.DOM 의 풀네임 (Document Object Model) 말처럼HTML, CSS, JS 파일들을 객체화하여 따로 분리하여 연결해주는 모델링이 속도가 빠르게 해주는 핵심 이유이며,객체화를 통해 브라우저에서 직접 모든 렌터, 레이아웃을 계산하는게 아닌 Offline 상태에서 계산하여 결과값만 브라우저에 나타내기 때문이다. 라고 이해를 하고 있는데 맞을까요?이런 React의 동작방식과 작업방식이 가장 빠른건 아니지만웬만한 웹에서 빠르게 동작하고 충분히 빠르고 효율적이기에 많은 서비스들에서 사랑 받고 있는 프레임워크다. 혹시 이렇게 정리하는게 조금 제가 잘 이해를 못 하고 있는 부분일지요.

안녕하세요 콘솔에 404 에러가 떠서 목서버를 확인해보니 아래와 같은 오류가 떴는데 이러한 경우 어떻게 해결할 수 있을까요..{ "error": { "name": "usageLimitError", "header": "Usage limit reached", "message": "Your team plan allows 1000 mock server calls per month. Contact your team Admin to up your limit." } }

늘 좋은 강의 해주셔서 감사합니다. '[개정판] 딥러닝-컴퓨터비전-완벽가이드'를 수강하다가 질문이 있어서 글을 남깁니다. 제가 사용하는 멀티GPU시스템에서 'efficientdet_train_pascal_voc.ipynb'을 수정하여 원하는 GPU에서 프로그램을 동작하고 싶습니다. 'efficientdet_train_pascal_voc.ipynb'를 실행하는 도중 ==================================================if tf.config.list_physical_devices('GPU'): ds_strategy = tf.distribute.MirroredStrategy(devices=["gpu:2", "gpu:3"])else: ds_strategy = tf.distribute.OneDeviceStrategy('device:CPU:0')#steps_per_execution은 ModelCheckpoint의 save_freq를 숫자로 설정할 시 적용. num_epochs, steps_per_epoch는 추후에 model.fit()에서 설정되지만, 여기서는 일단 값을 설정해야함. params = dict( profile=TRAIN_CFG.profile, mode = TRAIN_CFG.mode, model_name=TRAIN_CFG.model_name, steps_per_execution=TRAIN_CFG.steps_per_execution, num_epochs = TRAIN_CFG.num_epochs, model_dir=TRAIN_CFG.model_dir, steps_per_epoch=steps_per_epoch, strategy=ds_strategy,# strategy=TRAIN_CFG.strategy, batch_size=TRAIN_CFG.batch_size, tf_random_seed=TRAIN_CFG.tf_random_seed, debug=TRAIN_CFG.debug, val_json_file=TRAIN_CFG.val_json_file, eval_samples=TRAIN_CFG.eval_samples, num_shards=ds_strategy.num_replicas_in_sync )config.override(params, True)# image size를 tuple 형태로 변환. 512는 (512, 512)로 '1920x880' 은 (1920, 880) 으로 변환. config.image_size = utils.parse_image_size(config.image_size)==================================================를 실행하면 다음과 같이 GPU:2와 3가 잡힙니다. (여기서 궁금한 점이 있는데요, 갑자기 왜 GPU:2와 3의 메모리를 22.7G나 잡아버리나요?)계속해서 'efficientdet_train_pascal_voc.ipynb'을 실행하다가 다음을 실행하면 ======================================================# 강의영상에는 from keras import anchors 이지만 efficientdet 패키지의 keras 모듈이 tf2 로 변경됨.from tf2 import train_libfrom tf2 import train# 20개의 class를 가진 efficientdet d0 모델을 생성. model = train_lib.EfficientDetNetTrain(config=config)======================================================갑자기 GPU:0가 잡히면서, 그 이후의 모든 프로그램 코드가 GPU:0에서만 동작을 합니다. (GPU:2와 3은 아무런 동작이 없습니다. )그래서 'train_lib.EfficientDetNetTrain(config=config)'을 고쳐보려고 하는데, 생각보다 쉽진 않네요... 구글 코랩에서 'EfficientDetNetTrain'을 찾아봐도 "A customized trainer for EfficientDet."이라고만 나와있습니다. 어떻게 해야할지 조언을 주세요... 감사합니다.

ngrok 연결도 다 했고 url에다가 POSTMAN으로 GET 요청하면 데이터도 잘 불러와지는데 결과창을 보면 데이터가 불러와지지 않아 화면이 제대로 뜨질 않네요...해결 방법이 있을까요?  

1 # 아래를 수행하기 전에 kernel을 restart 해야 함.2.ImportError: /usr/local/lib/python3.8/dist-packages/mmcv/_ext.cpython-38-x86_64-linux-gnu.so: undefined symbol: ZN2at4ops7resize_4callERKNS_6TensorEN3c108ArrayRefIlEENS5_8optionalINS5_12MemoryFormatEEE 이러한 에러가 발생하는데 import torch 하고 쿠다버전을 확인해서 cu116으로 바꾸어 주었습니다. 그리고 밑에 실행했고, 런타임을 다시 한 뒤에 import mmdet~을 했지만 이와 같은 결과가 지속되고 있습니다.

/usr/local/lib/python3.8/dist-packages/mmcv/__init__.py:20: UserWarning: On January 1, 2023, MMCV will release v2.0.0, in which it will remove components related to the training process and add a data transformation module. In addition, it will rename the package names mmcv to mmcv-lite and mmcv-full to mmcv. See https://github.com/open-mmlab/mmcv/blob/master/docs/en/compatibility.md for more details. warnings.warn(이라고 뜨는데, 런타임을 초기화 하고 !pip install mmcv-full 로 설치를 해도 안됩니다!

안녕하세요. 강사님 mmdet.apis import중 아래와 같은 에러가 생겼습니다. 처음 not found model에러는 런타임 다시 시작후, 사라졌는대 사진과 같은 에러가 발생했습니다.mmcv-full -f로 설치해도 동일한 에러가 발생합니다.Python : 3.8torch : 1.13.1cuda : 11.6환경은 colab입니다. 

선생님 너무 좋은 강의 감사합니다! 이해가 잘 됩니다. 다만 제가 궁금한게 있는데 실무에 가게되면 이러한 소스코드를 하나 하나 작성할 수 있는 개발자가 되어야 하는건가요? 실습파트를 보면서 '아 이렇게 실행이 되는구나' 정도로만 알고 넘어가고 있는데, 어떠한 방향으로 학습을 진행하면 좋을지 조언을 구하고 싶습니다.