scaler와 countervectorizer 를 서비스에 적용할 때는 어떻게 해야 하나요?
259
작성한 질문수 10
답변 1
0
안녕하십니까,
테스트 데이터에 CountVectorizer나 scaler등을 적용할 때는 반드시 학습 데이터에 적용한 기준으로 테스트 데이터를 변경해야 합니다.
즉 아래와 같이 테스트 데이터를 변경해야 하며, 반드시 학습 데이터로 fit() 한 scaler 객체를 사용해야 합니다.
train_scaler = MinMaxScaler()
train_scaler.fit(학습 데이터)
train_scaled_data = train_scaler.transform(학습데이터)
# 테스트 데이터는 학습 데이터로 fit된 scaler를 적용해야 함. 실시간으로 테스트 데이터를 scaling할 때도 반드시 train_scaler 객체를 이용해서 변환해야 함.
test_scaled_data = train_scaler.transform(테스트 데이터)
scaling도 마찬가지 이지만 텍스트 분석의 경우 학습 데이터에 없는 문자열은 학습데이터 기반의 CountVectorizer에서 자동으로 제외 됩니다. 때문에 주기적으로 추가된 데이터를 기반으로 CountVectorizer를 재생성해야 합니다.
0
답변 감사합니다. 테스트에 같은 scaler를 사용하는 부분은 이해를 하였는데요, 저는 서비스와 관련해서가 궁금했습니다.
만약, 서비스(온라인)시에도 동일한 scaler를 사용해야 한다면 메타정보식으로 저장을 해야 할거 같거든요. 학습을 시키고 서비스를 하는 환경이 서로 다른 경우들이 많으니까요. 그래서 scaler 자체를 저장할 수 있는지 궁금해서 질문하였습니다~^^
0
저도 해보진 않았지만, 학습데이터로 fit()된 scaler 객체 자체를 pickle 등으로 serialization 만들어서 다른 서버로 이동한 뒤 해당 서버에서 다시 serialization을 객체로 로딩하면 될 것 같습니다.
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
50
2
안녕하세요 열심히 수강중인 학생입니다
0
86
2
정수 인덱싱
0
86
2
넘파이 오류
0
108
2
11강 numpy의 axis 축 질문 드립니다.
0
106
2
Kaggle 에서 Santander customer satisfaction data 를 다운로드 되지가 않습니다.
0
92
2
Feature importances 를 보여주는 barplot 이 그래프로 안보여져요.
0
76
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
83
2
타이타닉 csv 파일이 주피터 화면에 보이지 않습니다.
0
73
2
5강 강의 오류가 있어요.
0
90
1
실무에서 LTV 관련 모델 선택 질문입니다!
0
81
2
14강 강의 듣는중에 궁금한게 있어서 질문합니다~
0
75
3
파이썬 다운그레이 후 사이킷런 재설치
0
128
2
좋은 강의 감사합니다.
0
79
2
scoring 함수 음수값
0
72
2
6번 강의에 사이킷런, 파이썬, 아나콘다 각각 버전 일치 안 시키고 진행해도 강의 따라가 지나요?
0
108
2
분류 평가 정확도 예측
0
87
2
안녕하세요. 강의 들으면서 업무에 적용하고 싶은 수강생입니다.
0
114
1
카카오톡 채널 있나요
0
118
1
혹시 강의에서 사용하시는 ppt 받을 수 있는건가요
0
193
2
pca 스케일링 관련하여 질문드립니다.
0
109
2
주피터 대신 구글 코랩
0
184
2
강의에서 사용하는 pdf or ppt자료는 따로 없는 건가요?
0
155
2
실루엣 스코어..
0
91
2