안녕하세요, 좋은 컨텐츠 만들어주셔서 진심으로 감사드립니다. 수강 중 일반적인 질문하나 드리고 싶습니다. kaggle notebook도 설치되어있는 패키지가 자동적으로 계속 업데이트가 될텐데, 이 경우 이후에 현재 작동중인 코드가 실행되지 못할수도 있을거 같다는 생각이 듭니다. 이를 위해서 어떻게 제가 미리 조치를 하면 좋을까요? 가령, 강의에서 사용하신 특정 버전 라이브러리로만 구성된 kaggle kernel을 생성한다던가 이런 방법이 있는지 혹은 가능한지 궁금합니다. 감사합니다!
안녕하세요. 강사님 다른 분의 질문에서 확인 colab향 char-rnn 코드를 보다가 질문 사항이 생겼습니다. colab향 코드와 강의에서 설명한 python 코드의 차이를 보면 app.run 과 같은 absl 라이브러리 관련 코드가 colab향 코드에는 없는데, 이게 colab에서는 absl 라이브러리를 import 할 수 없기 때문이지 궁금합니다. 신기한게 강의에서는 구글에서 absl 라이브러리를 만든 것으로 제가 들은 것 같은데, 정작 google의 colab 환경에서는 해당 라이브러리를 사용할 수 없다는 사실이 신기 합니다. P.S 혹시 colab 환경에서 실행 가능한 char-rnn 코드 URL주소 https://colab.research.google.com/drive/1Lr-tdAWh6sJdmAcOCmimHOIaK54idw-t?usp=sharing
섹션 7. CNN (Convolutional Neural Network) - 합성곱 신경망 6번째 실습 - 문제 설명 (LeNet 모델 구축 - MNIST 데이터셋 이용)의 끝부분이 one hot encoding인데 다음 7번째 강의는 실습 - FashionMNIST 데이터셋 이용 실습 문제 풀이로 앞의 강의 Mnist 손글씨에 대한 코드 설명 부분이 빠진 것 같아 연결이 잘 안됩니다.... 원래 영상이 그런지 확인 부탁드려요. 감사합니다.
모두를 위한 대규모 언어 모델 LLM Part 3 - 구글 제미나이(Google Gemini) API, OpenAI API와 젬마(Gemma)로 AI 어플리케이션 만들기
안녕하세요! 현재 Gemini, Streamlit, LangChain을 이용하여 오류 Q&A 모음 PDF 문서를 학습시켜 해당 문서로 질의응답을 할 수 있는 RAG Chatbot을 구현하는 중에 있습니다. PDF 내용이 정제가 되어 있지 않지만 175개의 모든 페이지를 다 읽어온 것은 확인했는데 같은 페이지에 있는 내용이더라도 답변하는 것이 있고 아닌 것이 있습니다. 또한 같은 질문을 해도 어떤 때는 잘 대답하고 어떤때는 문서에 없다고 대답하는 현상을 발견하고 있습니다... 이런 현상들의 원인이 뭔지 또한 학습시키는 문서를 정제하면 대답 정확도가 조금 올라가는지.. 어떤 형식으로 문서를 정제해야 할지, PDF보단 WORD나 CSV 파일이 더 정확도가 올라갈지 등등 ChatBot의 정확도를 올릴려면 어떤 방식들을 시도해 봐야 하는지 감이 잡히지 않아 질문드립니다.
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 폴더 만드는 부분에서 directory_create('x/x')를 하게 되면 x에 어떤 이름을 넣어도 다 이미 만들어졌다고만 뜨고 실제 드라이브 들어가면 아무것도 폴더가 생성이 안되었는데, 왜 그런건지 잘 모르겠어요. 그리고 현재 디렉토리 위치 설정하는 것도 이런 오류가 발생하는데, 구글 드라이브 마운트 할 때는 잘 됐었는데 이런 오류가 발생하네요..! cd/~ 의 코드를 실행하면 현재 디렉토리를 cd/~에서 ~에 해당하는 디렉토리로 이동해주는게 아닌가요? 아래 사진은 현재 드라이브 디렉토리 경로입니다!
10_ADVANCE-EXAMPLE-MILTI-LABEL-CLASSIFICATION 과 11_MILTI-LABEL-CLASSIFICATION-DROPOUT-BATCHNORMALIZATION 강의자료에서 맨 밑부분의 테스트셋 기반 Evaluation 에서 test_loss 를 계산할 때 전체 데이터인 10000으로 나누셨는데, 왜 그러신건지 궁금해서 질문드립니다. train 과 validation 의 loss 계산은 train_batches 와 val_batches 개수(for문 도는 횟수) 만큼만 나누셨는데 test loss 를 계산할 때는 minibatch 가 아닌 전체 데이터로 나누셔서 상대적으로 test data 의 loss 값이 작아보여서요. test_loss = 0 correct = 0 wrong_samples, wrong_preds, actual_preds = list(), list(), list() model.eval() with torch.no_grad(): for x_minibatch, y_minibatch in test_batches: y_test_pred = model(x_minibatch.view(x_minibatch.size(0), -1)) test_loss += loss_func(y_test_pred, y_minibatch) pred = torch.argmax(y_test_pred, dim=1) correct += pred.eq(y_minibatch).sum().item() wrong_idx = pred.ne(y_minibatch).nonzero()[:, 0].numpy().tolist() for index in wrong_idx: wrong_samples.append(x_minibatch[index]) wrong_preds.append(pred[index]) actual_preds.append(y_minibatch[index]) test_loss /= len(test_batches.dataset)
기존에 학습된 모델을 가지고 새로운 데이터로 학습하는데, 라벨이 기존 학습된 모델의 라벨과 맞춰져야 하는 거 아닌가요? gt_labels.append(cat2label[bbox_name]) 에서 'Car', 'Truck', 'Pedestrian','Cyclist' 의 라벨번호가 기존 학습된 모델의 'Car', 'Truck', 'Pedestrian','Cyclist'의 라벨번호와 같아야 하는 것이 아닌지 문의합니다.
83쪽에 '예를 들어 (3*3) Conv.Kernel 2개를 쌓은 경우 Receptive Field는 (7*7)이 된다!'라고 하셨는데 Kernel이 쌓이는게 아니라 Layer 아닌가요?? 혹시 제가 잘못 이해하고 있었다면 지금까지 각 Layer마다 하나의 kernel만 훑고 지나가는 줄 알고 있어서 Kernel이 쌓인다 라는 개념을 잘 모르겠습니다. 기존 ANN에서 Bias를 더하는 개념과 ResNet에서Residual Connection을 더하는 개념의 차이를 잘 모르겠습니다. 둘다 비슷하게 느껴집니다 ㅠㅠ.
U-Net 구현으로 배우는 딥러닝 논문 구현 with TensorFlow 2.0 - 딥러닝 의료영상 분석
1.앞에 고민올리신 분대로 코드를 바꿔보니 train부분은 돌아가더라고요,5/2000번 이라서 왜그런지는 모르겟으나 너무 느리고 반쯤가다가 멈추더라고요. 2.2000번 다안되서 50번으로 바꿔서 돌려보니 되더라고요(loss 값은 강의만큼 떨어지지는 않지만.. 돌아가긴하네요.) 그리고 앞에 커뮤니티 올리신 분도 비슷한 문제가 있어 https://gist.github.com/solaris33/771639041b8a4500b6d81951d4a2b814 여기있는대로 evaluate구현해보니 Traceback (most recent call last): File "evaluate_isbi_2012.py", line 89, in <module> app.run(main) File "D:\anaconda\envs\tfunet\lib\site-packages\absl\app.py", line 308, in run run main(main, args) File "D:\anaconda\envs\tfunet\lib\site-packages\absl\app.py", line 254, in run main sys.exit(main(argv)) File "evaluate_isbi_2012.py", line 66, in main unet_model.load_weights(FLAGS.checkpoint_path) File "D:\anaconda\envs\tfunet\lib\site-packages\keras\utils\traceback_utils.py", line 70, in error_handler raise e.with_traceback(filtered_tb) from None File "D:\anaconda\envs\tfunet\lib\site-packages\tensorflow\python\training\py_checkpoint_reader.py", line 31, in error_translator raise errors_impl.NotFoundError(None, None, error_message) tensorflow.python.framework.errors_impl.NotFoundError: Unsuccessful TensorSliceReader constructor: Failed to find any matching files for saved_model_isbi_2012/unet_model.ckpt 이런문제가 뜨더라고요.. 3.제가 쓰는 파이썬은 3.7.9이고 tensorflow 2.11 을 쓰고 있어요 예전버전쓰니까 이상한 문제가 있다고 train도 구현이 되질않아서요.. 가능하시면 2.11버전에 맞게 코드 변경 부탁드려요.. 몇일을 실랑이 하다가 어떻게 해야될지 몰라 올려보네요..아니면 requirement라도 넣어주시면 감사하겠습니다.
U-Net 구현으로 배우는 딥러닝 논문 구현 with TensorFlow 2.0 - 딥러닝 의료영상 분석
2000/2000 [==============================] - ETA: 0s - loss: 0.2448 - accuracy: 0.9157 Epoch 1: loss improved from inf to 0.24480, saving model to saved_model_isbi_2012\unet_model.h5 Traceback (most recent call last): File "train_isbi_2012.py", line 180, in <module> app.run(main) File "D:\anaconda\envs\tfunet\lib\site-packages\absl\app.py", line 308, in run run main(main, args) File "D:\anaconda\envs\tfunet\lib\site-packages\absl\app.py", line 254, in run main sys.exit(main(argv)) File "train_isbi_2012.py", line 177, in main callbacks=[model_checkpoint_callback, tensorboard_callback, custom_callback]) File "D:\anaconda\envs\tfunet\lib\site-packages\keras\utils\traceback_utils.py", line 70, in error_handler raise e.with_traceback(filtered_tb) from None File "D:\anaconda\envs\tfunet\lib\site-packages\keras\saving\legacy\save.py", line 155, in save_model "Saving the model to HDF5 format requires the model to be a " NotImplementedError: Saving the model to HDF5 format requires the model to be a Functional model or a Sequential model. It does not work for subclassed models, because such models are defined via the body of a Python method, which isn't safely serializable. Consider saving to the Tensorflow SavedModel format (by setting save_format="tf") or using save_weights . 2024-05-05 07:43:59.819913: W tensorflow/core/kernels/data/generator_dataset_op.cc:108] Error occurred when finalizing GeneratorDataset iterator: FAILED_PRECONDITION: Python interpreter state is not initialized. The process may be terminated. [[{{node PyFunc}}]] 이런문제가 뜨고 사진 5장도 저장안되고 save 폴더 안에도 저장되는게 없는데요 인터넷을 찾아봐도 무슨 문제인지 나오질 않아서 물어봐요 ㅜ(밑에 다른사람이 비슷한사례가 있어 바꿔보았는데 이렇게 뜨네요) 2000/2000 [==============================] - ETA: 0s - loss: 0.2294 - accuracy: 0.9116 Epoch 1: loss improved from inf to 0.22941, saving model to unet_model.h5 Traceback (most recent call last): File "C:\Users\Administrator\Desktop\UNET-tf2-main\train_isbi_2012.py", line 180, in <module> app.run(main) File "D:\anaconda\envs\tfunet\lib\site-packages\absl\app.py", line 308, in run run main(main, args) File "D:\anaconda\envs\tfunet\lib\site-packages\absl\app.py", line 254, in run main sys.exit(main(argv)) File "C:\Users\Administrator\Desktop\UNET-tf2-main\train_isbi_2012.py", line 177, in main callbacks=[model_checkpoint_callback, tensorboard_callback, custom_callback]) File "D:\anaconda\envs\tfunet\lib\site-packages\keras\utils\traceback_utils.py", line 70, in error_handler raise e.with_traceback(filtered_tb) from None File "D:\anaconda\envs\tfunet\lib\site-packages\keras\saving\legacy\save.py", line 155, in save_model "Saving the model to HDF5 format requires the model to be a " NotImplementedError: Saving the model to HDF5 format requires the model to be a Functional model or a Sequential model. It does not work for subclassed models, because such models are defined via the body of a Python method, which isn't safely serializable. Consider saving to the Tensorflow SavedModel format (by setting save_format="tf") or using save_weights . 2024-05-05 14:39:03.225178: W tensorflow/core/kernels/data/generator_dataset_op.cc:108] Error occurred when finalizing GeneratorDataset iterator: FAILED_PRECONDITION: Python interpreter state is not initialized. The process may be terminated. [[{{node PyFunc}}]] Process finished with exit code 1