inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Tạo LLM tùy chỉnh lần đầu tiên – Nhập môn Fine-tuning LoRA & QLoRA

Thực hành fine-tuning Llama 3.1 và Llama 2 dựa trên QLoRA-2

타임아웃 문제

81

redpoint12038146

1 câu hỏi đã được viết

0

타임아웃 에러 때문에 마지막 실습이 어렵습니다.
==((====))== Unsloth 2026.1.2: Fast Llama patching. Transformers: 4.57.3. \\ /| Tesla T4. Num GPUs = 1. Max memory: 14.741 GB. Platform: Linux. O^O/ \_/ \ Torch: 2.9.0+cu126. CUDA: 7.5. CUDA Toolkit: 12.6. Triton: 3.5.0 \ / Bfloat16 = FALSE. FA [Xformers = None. FA2 = False] "-____-" Free license: http://github.com/unslothai/unsloth Unsloth: Fast downloading is enabled - ignore downloading bars which are red colored!

---------------------------------------------------------------------------
TimeoutError                              Traceback (most recent call last)
/usr/local/lib/python3.12/dist-packages/unsloth/models/_utils.py in _get_statistics(statistics, force_download)
   1173             try:
-> 1174                 time_limited_stats_check()
   1175             except TimeoutError:


6 frames


/usr/local/lib/python3.12/dist-packages/unsloth_zoo/rl_environments.py in wrapper(*args, **kwargs)
    774             elif effective_backend == "process":
--> 775                 return _run_in_subprocess(func, seconds, args, kwargs,
    776                                           start_method=start_method, kill_grace=kill_grace)

/usr/local/lib/python3.12/dist-packages/unsloth_zoo/rl_environments.py in _run_in_subprocess(func, seconds, args, kwargs, start_method, kill_grace)
    701                     proc.join()
--> 702             raise TimeoutError(f"Timed out after {seconds:g}s")
    703     except KeyboardInterrupt:

TimeoutError: Timed out after 120s
During handling of the above exception, another exception occurred:

TimeoutError                              Traceback (most recent call last)
/tmp/ipython-input-2933263888.py in <cell line: 0>()
      4 
      5 # ✅ STEP 1: 모델 및 토크나이저 로딩 (Unsloth LLaMA 3.1 8B 기준)
----> 6 model, tokenizer = FastLanguageModel.from_pretrained(
      7     model_name = "unsloth/Meta-Llama-3.1-8B",
      8     max_seq_length = 2048,

/usr/local/lib/python3.12/dist-packages/unsloth/models/loader.py in from_pretrained(model_name, max_seq_length, dtype, load_in_4bit, load_in_8bit, load_in_16bit, full_finetuning, token, device_map, rope_scaling, fix_tokenizer, trust_remote_code, use_gradient_checkpointing, resize_model_vocab, revision, use_exact_model_name, offload_embedding, float32_mixed_precision, fast_inference, gpu_memory_utilization, float8_kv_cache, random_state, max_lora_rank, disable_log_stats, qat_scheme, load_in_fp8, unsloth_tiled_mlp, *args, **kwargs)
    582             load_in_8bit_kwargs = False
    583 
--> 584         model, tokenizer = dispatch_model.from_pretrained(
    585             model_name = model_name,
    586             max_seq_length = max_seq_length,

/usr/local/lib/python3.12/dist-packages/unsloth/models/llama.py in from_pretrained(model_name, max_seq_length, dtype, load_in_4bit, token, device_map, rope_scaling, fix_tokenizer, model_patcher, tokenizer_name, trust_remote_code, revision, fast_inference, gpu_memory_utilization, float8_kv_cache, random_state, max_lora_rank, disable_log_stats, unsloth_vllm_standby, num_labels, qat_scheme, **kwargs)
   2202         model_patcher.pre_patch()
   2203         # For debugging - we use a download counter to see if environments are not breaking or if HF is down
-> 2204         get_statistics(kwargs.get("local_files_only", False))
   2205 
   2206         if dtype is None:

/usr/local/lib/python3.12/dist-packages/unsloth/models/_utils.py in get_statistics(local_files_only)
   1212         disable_progress_bars()
   1213         disabled = True
-> 1214     _get_statistics(None)
   1215     _get_statistics("repeat", force_download = False)
   1216     total_memory = (

/usr/local/lib/python3.12/dist-packages/unsloth/models/_utils.py in _get_statistics(statistics, force_download)
   1174                 time_limited_stats_check()
   1175             except TimeoutError:
-> 1176                 raise TimeoutError(
   1177                     "Unsloth: HuggingFace seems to be down after trying for 120 seconds :(\n"
   1178                     "Check https://status.huggingface.co/ for more details.\n"

TimeoutError: Unsloth: HuggingFace seems to be down after trying for 120 seconds :(
Check https://status.huggingface.co/ for more details.
As a temporary measure, use modelscope with the same model name ie:
```
pip install modelscope
import os; os.environ['UNSLOTH_USE_MODELSCOPE'] = '1'
from unsloth import FastLanguageModel
model = FastLanguageModel.from_pretrained('unsloth/gpt-oss-20b')
```

해결 방법이 있을까요? 강사님...

 

딥러닝 NLP 인공지능(ai) llm fine-tuning

Câu trả lời 2

0

HappyAI

안녕하세요.

해당 오류는 실습 코드나 GPU 환경 문제라기보다, Unsloth가 모델을 불러오는 과정에서 Hugging Face 서버와의 통신이 지연되며 120초 타임아웃이 발생한 상황입니다. 에러 메시지에 표시된 것처럼 외부 서버 응답 문제로 인해 모델 로딩 단계에서 중단된 것입니다.

이 경우 가장 간단한 해결 방법은 Hugging Face 대신 ModelScope 서버를 사용하도록 설정하는 것입니다. Unsloth에서도 공식적으로 안내하는 방식이며, 동일한 모델을 안정적으로 불러올 수 있습니다. 또한 트래픽이 많은 시간대를 피해서 다시 실행하면 정상 동작하는 경우도 있습니다.

정리하면, 해당 문제는 실습 환경이나 코드 오류가 아니며, 외부 모델 저장소의 일시적인 네트워크 이슈로 인해 발생한 것이므로 안내드린 우회 방법을 적용하시면 마지막 실습을 진행하실 수 있습니다.

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. 김종욱님께서 언급하신 타임아웃 문제는 HuggingFace 모델 다운로드 중 발생하는 오류로, 네트워크 연결 불안정이나 시간 제한으로 인해 발생할 수 있습니다. 이 문제는 주로 특정 클라우드 플랫폼에서 발생할 수 있는데, 몇 가지 해결 방법을 제안드리겠습니다.

타임아웃 문제를 해결하기 위해 다음과 같은 방법을 시도해 볼 수 있습니다:

  1. 모델캐싱/로컬 저장소 사용: HuggingFace 모델을 로컬에 다운받고 사용하는 방법입니다. 이는 반복적인 모델 다운로드 문제를 줄이는 데 도움이 될 수 있습니다.

    from transformers import AutoModelForCausalLM, AutoTokenizer
    model = AutoModelForCausalLM.from_pretrained("/path/to/local/model")
    tokenizer = AutoTokenizer.from_pretrained("/path/to/local/tokenizer")
    
  2. 네트워크 연결 확인 및 안정화: 네트워크 연결이 타임아웃 없이 지속적으로 유지되도록 설정하거나, VPN을 사용하는 것도 하나의 방법입니다. 특히 공용 Wi-Fi나 불안정한 네트워크 환경에서 발생할 수 있는 문제를 피할 수 있습니다.

  3. 모델 사이즈 조정: 가능하다면 사용 중인 모델의 크기를 줄이는 것도 한 방법입니다. 작은 모델을 사용하면 메모리와 네트워크 자원 소모를 줄일 수 있습니다.

  4. 환경 변수 설정으로 ModelScope 사용: UNSLOTH_USE_MODELSCOPE 환경 변수를 설정하면, ModelScope 플랫폼을 사용하여 모델을 다운로드 및 사용할 수 있습니다. 이는 Unsloth에서 제안하는 임시 해결책 중 하나입니다.

    pip install modelscope
    
  5. 다운로드 제한 시간 증가: 다운로드 시간 제한을 코드에서 설정할 수 있는 경우, 제한 시간을 늘려 타임아웃을 막을 수 있습니다.

위의 방법으로 해결되지 않는다면, HuggingFace의 상태 페이지를 확인하여 플랫폼 문제가 없는지 확인해 보세요. 종종 서버의 일시적 문제 때문에 발생할 수도 있습니다.

저는 질문자님의 이해를 돕고자 유사한 문제 상황에서 사용할 수 있는 일반적인 해결 방법을 제안드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

첨부자료 Part 4 코드 확인 부탁드리겠습니다.

0

4

2

output sytles 모든 프로젝트 적용시 디렉토리가 헷갈립니다 ㅠㅠ

0

10

1

터미널 줄바꿈 세팅

0

11

1

Cursor 설정

0

10

1

setting.json과 setting.local.json

0

12

1

클로드 Pro 요금제에서 Claude Code CLI 사용을 막는다고 들어서 질문드립니다.

1

14

1

카드 뉴스 만들기..

0

15

0

기존 mcp를 플러그인으로 대체

0

14

1

바이브코딩을 하는 개발자(작업복잡도 판단의 어려움)

0

15

1

커서에서 클로드 코드 실행했는데 쉬프트 +엔터가 안먹히는데요.

0

11

1

claw code 에 대해서는 어떻게 생각하시나요?!

0

18

1

비개발자용 리서치나 논문검색 프로젝트 요청

0

14

1

커밋 명령에 대한 플랜모드 미적용

0

21

2

prd.md 관련

0

20

3

섹션2-11 내용중 tool_call

0

16

1

하네스 강의 관련

0

32

2

시니어 리뷰 모드

0

22

1

갑자기 크루드가 실행이 안됩니다.

0

29

2

20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.

0

13

1

pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다

0

17

1

모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?

0

27

2

강의 버퍼링 문제

1

75

1

추가 강의는 언제 올라오나요?

0

91

1

OPT350 모델 페이지 주소 좀알려주세요

0

93

1