모델링 관련 문의드립니다.

[퇴근후딴짓] 빅데이터 분석기사 실기 (작업형1,2,3)

당신의 열정을 응원합니다.

해결된 질문

작성

안녕하세요, 실기 준비가 막막했는데 강의를 통해서 자신감을 얻어 가고 있습니다. 감사합니다.

강의를 보며 실무 관점에서 궁금한점이 있어 문의드립니다. 시험을 준비하면서는 제공된 데이터를 기반으로 모델링을 하고 답안을 제출하면 끝인데 실무에서는 한번 학습시킨 모델을 나중에 계속 활용해야할거 같은데 학습한 모델을 저장하거나 다시 불러서 사용할 수 있는 방법이 있는지와 이와 같은 상황에서는 보통 어떻게 모델을 관리 하는지 궁금합니다.

python 머신러닝 빅데이터 pandas 빅데이터분석기사

답변 2

퇴근후딴짓

지식공유자

안녕하세요:)

개인이 저장하는 것과 실무는 약간의 차이가 있어요~

캐글이나 데이콘등 대회를 개인적으로 진행한다면 피클 형태로 보통 저장해서 불러와서 사용해요

피클로 저장/불러오는 코드 간단하고 검색하면 쉽게 사용할 수 있어요. 아래와 같아요

# 저장
import pickle
with open("model.pkl", "wb") as f:
    pickle.dump(model, f)

# 불러오기
with open("model.pkl", "rb") as f:
    model = pickle.load(f)

실무에서는

학습, 실험 단계(하이퍼파라미터 자동기록)

모델 저장, 버전 관리(새로운 모델도 있지만 롤백 할 일 도 있음)

배포(CI/CD 파이프라인 구성)

운영 모니터링(성능이 떨어지면 자동으로 새버전 재학습 등)

자동화를 위해 Vertex AI, BentoML, SageMaker, ML flow등 MLOps 플랫폼을 사용해요

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. yeon님.

모델을 저장하고 나중에 다시 불러와 사용하는 것은 실무에서 매우 중요한 작업입니다. 파이썬에서는 주로 pickle이나 joblib 라이브러리를 활용하여 모델을 저장하고 불러옵니다. pickle은 파이썬의 객체를 파일로 저장할 수 있게 해주고, joblib은 대용량의 넘파이 배열을 빠르게 저장하거나 불러오는 데 최적화되어 있습니다.

모델 저장 예시

import pickle

# 모델 학습
model = train(your_training_data)

# 모델 저장
with open('model.pkl', 'wb') as file:
    pickle.dump(model, file)

모델 불러오기 예시

import pickle

# 모델 불러오기
with open('model.pkl', 'rb') as file:
    loaded_model = pickle.load(file)

# 예측
predictions = loaded_model.predict(your_test_data)

이와 같은 방법으로 학습한 모델을 저장하고 필요할 때마다 불러와서 사용할 수 있습니다.

모델 관리

실무에서는 일반적으로 다음과 같은 방법으로 모델을 관리합니다:
1. 버전 관리: 모델의 여러 버전을 저장하여 변경 내역을 추적합니다. 이는 모델의 성능이 변화했을 때 원인을 분석하는데 도움이 됩니다.
2. 디플로이먼트: 모델을 API 형태로 배포하여 다양한 환경에서 활용할 수 있게 합니다. 이를 위해 AWS Sagemaker, Google AI Platform, Azure ML 같은 클라우드 서비스를 활용할 수 있습니다.
3. 모니터링: 모델이 실제 환경에서 잘 작동하고 있는지 모니터링하며, 성능이 저하되면 재학습을 통해 모델을 업데이트합니다.

관련 질문으로는 모델 성능에 대한 논의가 오가고 있는 빅분기 실기 제2문형에 관한 질문이 있습니다. 실기 시험에서 중요한 하이퍼파라미터 튜닝과 모델 성능 관련 논의가 진행되었습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변