Inflearn Community Q&A
asked
adapt() valid 포함
Written on
·
26
0
안녕하세요. 강의 잘 듣고있습니다. 듣는중에 궁금한 점이 생겨 질문드립니다. adapt(x) 말고 train만 집어 넣어야 하는 거 아닌가요? Valid도 검증 하려는 건데 정보를 집어 넣으면 데이터 누수에 문제가 생길거 같아서요.
vectorizer = TextVectorization(standardize=custom_standardization,
max_tokens=vocab_size,
output_sequence_length=MAX_SEQUENCE_LENGTH)
# X_train_text 만 넣어주면 valid 에 있는 어휘는 학습이 되지 않습니다.
# test 에만 있는 어휘는 데이터 누수 문제로 사용하지 않습니다.
vectorizer.adapt(X)python머신러닝빅데이터NLP텍스트마이닝data-clustering데이터-리터러시
Answer 1
0
todaycode
Instructor
안녕하세요. 좋은 질문을 주셨네요. 말씀해 주신것처럼 어휘를 학습할 때 valid까지 학습하면 데이터 누수가 될 수도 있습니다. valid에만 있는 단어가 사전에 포함되게 되기 때문에 제외하기도 하나, test 데이터는 제외하는게 맞고 valid의 경우에는 데이터셋의 크기를 고려해서 제외하거나 포함하게 됩니다.
valid로 학습하지 못하는 어휘가 너무 많게 되면 모델 성능이 함께 떨어질 수도 있습니다.
데이터셋이 작거나, 훈련/검증 데이터 간의 단어 분포 차이가 클 때, 훈련 데이터만으로는 충분한 어휘를 학습하기 어렵습니다. 이 경우, 검증 데이터의 어휘까지 포함시켜 더 풍부한 단어 사전을 만들면, 'Unknown' 토큰으로 인한 정보 손실을 줄여 전반적인 모델 성능 향상을 기대할 수 있습니다.